ThunderPhone v3 je tu.Začnite sami, už od 2 ¢/min.Prečítať oznámenie

Connect tools & data

Používajte ThunderPhone z Pipecat

Spustite hlasového agenta ThunderPhone ako službu prevodu reči na reč v rámci pipeline Pipecat s vlastným transportom a telefóniou.

Pipecat je open-source framework na vytváranie hlasových agentov z kombinovateľných služieb. ThunderPhone sa pripája ako LLM služba reč-na-reč: Pipecat odosiela zvuk volajúceho, ThunderPhone vracia hlas agenta, prepisy a volania funkcií a prenos Pipecat (Daily, LiveKit, Twilio, WebRTC, lokálny mikrofón) prenáša zvuk. Rozpoznávanie reči, jazykový model, hlas, striedanie hovoriacich, 62 jazykov a nástroje fungujú v ThunderPhone.

Hovory uskutočnené týmto spôsobom sa zobrazia v histórii hovorov a účtujú sa rovnako ako akýkoľvek iný hovor v reálnom čase (cenník). Nezahŕňajú žiadne predplatné ani telefónne číslo ThunderPhone.

Inštalácia

pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Balík obaľuje službu OpenAI Realtime v Pipecat, pretože Realtime WebSocket ThunderPhone používa rovnaký protokol. Vyžaduje pipecat-ai 1.8 alebo novší.

Spustenie uloženého agenta

Všetko, čo agent robí (výzva, hlas, modul, jazyky, nástroje, privítanie, kontroly ticha), sa konfiguruje v ThunderPhone. Pipeline iba prenáša zvuk. Vytvorte agenta na paneli alebo ho nechajte nastaviť Zeusovi (AI agentovi, ktorý vytvára, testuje a dolaďuje agentov ThunderPhone), potom sem odovzdajte jeho ID. Zmeny, ktoré nasadíte v ThunderPhone, sa použijú pri nasledujúcom hovore bez zásahu do vašej pipeline.

from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
 
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
 
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
    transport.input(),
    aggregators.user(),
    llm,
    aggregators.assistant(),
    transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))

Uložený agent začne hovor podľa vlastného harmonogramu, takže služba nepožaduje od Pipecat úvodnú odpoveď. Ak ju napriek tomu chcete, zadajte greet_on_connect=True.

Konfigurácia relácie priamo v kóde

Bez agent_id pochádzajú pokyny a nástroje z kontextu Pipecat, rovnako ako pri OpenAI. product vyberá engine a voice vyberá hlas ThunderPhone.

from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
 
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
 
async def check_availability(params: FunctionCallParams):
    slots = await calendar.free_slots(params.arguments["date"])
    await params.result_callback({"slots": slots})
 
llm.register_function("check_availability", check_availability)
 
context = LLMContext(
    messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
    tools=ToolsSchema(standard_tools=[
        FunctionSchema(
            name="check_availability",
            description="Free appointment slots on a date",
            properties={"date": {"type": "string"}},
            required=["date"],
        )
    ]),
)

Relácie v kóde riadi klient: agent hovorí ako prvý, pretože Pipecat po doručení kontextu vyžiada odpoveď, a počas ticha zostáva potichu, pokiaľ nepridáte správu alebo nevyžiadate ďalšiu odpoveď.

Možnosti

ArgumentVýznam
api_keyTajný kľúč (sk_live_...). Predvolene sa použije THUNDERPHONE_API_KEY.
agent_idSpustí uloženého agenta. Vzájomne sa vylučuje s product a voice.
productModul pre vložené relácie: bolt (staršie spark a storm sú stále podporované).
voiceNázov hlasu ThunderPhone pre vložené relácie.
languagePomôcka pre primárny jazyk vložených relácií, napr. es.
from_number, to_numberČísla, ktoré sa majú zaznamenať pri hovore, keď pipeline obsluhuje telefónnu linku.
live_transcriptsStreamuje fragmenty prepisu volajúceho počas výpovede (spoplatnené navyše).
greet_on_connectVyžiada prvú odpoveď hneď, ako je relácia pripravená.
end_task_on_call_endedOdošle EndWorkerFrame, keď ThunderPhone ukončí hovor (predvolene zapnuté).

Udalosti

ThunderPhone pridáva udalosti platformy nad rámec protokolu v reálnom čase. Služba ich doručuje obslužným funkciám:

@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
    print("call ended:", event["reason"], "call id:", service.call_id)

service.call_id sa nastaví po aktivovaní relácie. Použite ho s GET /v1/calls/{call_id} na získanie nahrávky, prepisu a hodnotenia po hovore.

Limity

  • Detekcia ťahov prebieha na serveri a je vždy zapnutá; ťahy riadené Pipecat (turn_detection=False) nie sú podporované.
  • Funkcie zaregistrované v službe sa spúšťajú iba pre vložené relácie. Uložený agent vykonáva vlastné nástroje v ThunderPhone.
  • Zvuk je v oboch smeroch 16-bitové mono PCM s frekvenciou 24 kHz.
  • Videosnímky sa ignorujú.