ThunderPhone v3 jau veikia.Viską atlikite savarankiškai – nuo 2 ct/min.Skaityti pranešimą

Connect tools & data

Naudokite ThunderPhone su Pipecat

Paleiskite ThunderPhone balso agentą kaip kalba į kalbą paslaugą Pipecat sraute, naudodami savo perdavimo ir telefonijos sprendimus.

Pipecat yra atvirojo kodo sistema, skirta balso agentams kurti iš komponuojamų paslaugų. ThunderPhone integruojamas kaip kalbos į kalbą LLM paslauga: Pipecat siunčia skambinančiojo garsą, ThunderPhone grąžina agento balsą, transkriptus ir funkcijų iškvietimus, o Pipecat perdavimo priemonė (Daily, LiveKit, Twilio, WebRTC, vietinis mikrofonas) perduoda garsą. Kalbos atpažinimas, kalbos modelis, balsas, pokalbio eigos valdymas, 62 kalbos ir įrankiai veikia ThunderPhone.

Tokiu būdu atlikti skambučiai rodomi skambučių istorijoje ir apmokestinami kaip bet kuris kitas realiojo laiko skambutis (kainodara). Nėra prenumeratos ir nenaudojamas joks ThunderPhone telefono numeris.

Įdiegimas

pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Paketas apgaubia Pipecat „OpenAI Realtime“ paslaugą, nes ThunderPhone Realtime WebSocket naudoja tą patį protokolą. Jam reikia pipecat-ai 1.8 arba naujesnės versijos.

Paleiskite išsaugotą agentą

Viskas, ką daro agentas (užklausa, balsas, variklis, kalbos, įrankiai, pasisveikinimas, tylos patikros), konfigūruojama ThunderPhone. Konvejeris tik perduoda garsą. Sukurkite agentą valdymo skydelyje arba leiskite Zeus (DI agentui, kuris kuria, testuoja ir derina ThunderPhone agentus) jį nustatyti, tada čia perduokite jo ID. ThunderPhone įdiegti pakeitimai bus pritaikyti kitam skambučiui nekeičiant jūsų konvejerio.

from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
 
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
 
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
    transport.input(),
    aggregators.user(),
    llm,
    aggregators.assistant(),
    transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))

Išsaugotas agentas pradeda skambutį pagal savo tvarkaraštį, todėl paslauga neprašo Pipecat pradinio atsakymo. Perduokite greet_on_connect=True, jei vis tiek jo norite.

Konfigūruokite sesiją įterptuoju būdu

Nenaudojant agent_id, nurodymai ir įrankiai gaunami iš Pipecat konteksto, taip pat kaip ir naudojant OpenAI. product parenka variklį, o voice parenka ThunderPhone balsą.

from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
 
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
 
async def check_availability(params: FunctionCallParams):
    slots = await calendar.free_slots(params.arguments["date"])
    await params.result_callback({"slots": slots})
 
llm.register_function("check_availability", check_availability)
 
context = LLMContext(
    messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
    tools=ToolsSchema(standard_tools=[
        FunctionSchema(
            name="check_availability",
            description="Free appointment slots on a date",
            properties={"date": {"type": "string"}},
            required=["date"],
        )
    ]),
)

Įterptosios sesijos valdomos kliento: agentas kalba pirmas, nes Pipecat prašo atsakymo, kai gaunamas kontekstas, ir tyli tylos metu, nebent pridėtumėte pranešimą arba paprašytumėte kito atsakymo.

Parinktys

ArgumentasReikšmė
api_keySlaptasis raktas (sk_live_...). Numatytoji reikšmė yra THUNDERPHONE_API_KEY.
agent_idPaleiskite išsaugotą agentą. Nesuderinamas su product ir voice.
productModulis įterptinėms sesijoms: bolt (senesni spark ir storm vis dar priimami).
voiceThunderPhone balso pavadinimas įterptinėms sesijoms.
languagePirminės kalbos nuoroda įterptinėms sesijoms, pvz., es.
from_number, to_numberNumeriai, įrašomi į skambutį, kai srautas aptarnauja telefono liniją.
live_transcriptsTransliuokite skambinančiojo transkripto fragmentus jam dar nebaigus kalbėti (apmokestinama papildomai).
greet_on_connectPaprašykite pirmojo atsakymo, kai tik sesija bus parengta.
end_task_on_call_endedSiųskite EndWorkerFrame, kai ThunderPhone užbaigia skambutį (įjungta pagal numatytuosius nustatymus).

Įvykiai

ThunderPhone prie realaus laiko protokolo prideda platformos įvykius. Paslauga perduoda juos tvarkyklėms:

@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
    print("call ended:", event["reason"], "call id:", service.call_id)

service.call_id nustatomas, kai sesija tampa aktyvi. Naudokite jį su GET /v1/calls/{call_id}, kad po skambučio gautumėte įrašą, transkripciją ir įvertinimą.

Apribojimai

  • Pasisakymų aptikimas vykdomas serveryje ir visada įjungtas; Pipecat valdomi pasisakymai (turn_detection=False) nepalaikomi.
  • Paslaugoje užregistruotos funkcijos vykdomos tik įterptinėse sesijose. Išsaugotas agentas ThunderPhone vykdo savo įrankius.
  • Garsas abiem kryptimis yra 16 bitų vieno kanalo PCM, 24 kHz.
  • Vaizdo kadrai ignoruojami.