Open in
Uporabljajte ThunderPhone iz Pipecat
Zaženite glasovnega agenta ThunderPhone kot storitev govora v govor znotraj cevovoda Pipecat z lastnim prenosom in telefonijo.
Pipecat je odprtokodno ogrodje za izdelavo glasovnih agentov iz sestavljivih storitev. ThunderPhone se vključi kot LLM-storitev za pretvorbo govora v govor: Pipecat pošlje zvok klicatelja, ThunderPhone vrne glas agenta, prepise in klice funkcij, Pipecatov transport (Daily, LiveKit, Twilio, WebRTC, lokalni mikrofon) pa prenaša zvok. Prepoznavanje govora, jezikovni model, glas, izmenično govorjenje, 62 jezikov in orodja delujejo v ThunderPhone.
Klici, opravljeni na ta način, so prikazani v zgodovini klicev in se obračunajo kot vsi drugi klici v realnem času (cenik). Naročnina ali telefonska številka ThunderPhone nista potrebni.
Namestitev
pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyPaket ovija storitev OpenAI Realtime za Pipecat, ker Realtime WebSocket
ThunderPhone uporablja isti protokol. Potrebuje pipecat-ai 1.8 ali novejšo različico.
Zagon shranjenega agenta
Vse, kar agent počne (poziv, glas, mehanizem, jeziki, orodja, pozdrav, preverjanja tišine), se konfigurira v ThunderPhone. Cevovod le prenaša zvok. Agenta ustvarite na nadzorni plošči ali pa ga nastavite z Zeusom (AI-agentom, ki ustvarja, preizkuša in prilagaja agente ThunderPhone), nato pa sem posredujte njegov ID. Spremembe, ki jih uvedete v ThunderPhone, veljajo za naslednji klic, ne da bi se dotaknili svojega cevovoda.
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
transport.input(),
aggregators.user(),
llm,
aggregators.assistant(),
transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))Shranjeni agent začne klic po svojem urniku, zato storitev od Pipecat ne
zahteva začetnega odgovora. Če ga kljub temu želite, podajte greet_on_connect=True.
Konfiguriranje seje neposredno
Brez agent_id navodila in orodja izvirajo iz konteksta Pipecat, enako kot pri
OpenAI. product izbere pogon, voice pa izbere glas ThunderPhone.
from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
async def check_availability(params: FunctionCallParams):
slots = await calendar.free_slots(params.arguments["date"])
await params.result_callback({"slots": slots})
llm.register_function("check_availability", check_availability)
context = LLMContext(
messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
tools=ToolsSchema(standard_tools=[
FunctionSchema(
name="check_availability",
description="Free appointment slots on a date",
properties={"date": {"type": "string"}},
required=["date"],
)
]),
)Neposredne seje usmerja odjemalec: agent govori prvi, ker Pipecat zahteva odgovor, ko prispe kontekst, in med tišino ostane tiho, razen če dodate sporočilo ali zahtevate drug odgovor.
Možnosti
| Argument | Pomen |
|---|---|
api_key | Skrivni ključ (sk_live_...). Privzeto je nastavljen na THUNDERPHONE_API_KEY. |
agent_id | Zaženite shranjenega agenta. Medsebojno se izključuje z product in voice. |
product | Mehanizem za vstavljene seje: bolt (starejša spark in storm sta še vedno podprta). |
voice | Ime glasu ThunderPhone za vstavljene seje. |
language | Namig za primarni jezik pri vstavljenih sejah, npr. es. |
from_number, to_number | Številki, ki se zabeležita v klicu, ko cevovod upravlja telefonsko linijo. |
live_transcripts | Pretakajte dele prepisa klicatelja med izrekom (dodatno se zaračuna). |
greet_on_connect | Zahtevajte prvi odgovor takoj, ko je seja pripravljena. |
end_task_on_call_ended | Pošljite EndWorkerFrame, ko ThunderPhone konča klic (privzeto vklopljeno). |
Dogodki
ThunderPhone nad protokolom za delovanje v realnem času doda dogodke platforme. Storitev jih dostavi obravnavalnikom:
@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
print("call ended:", event["reason"], "call id:", service.call_id)service.call_id se nastavi, ko seja postane aktivna. Uporabite ga z
GET /v1/calls/{call_id} za pridobitev posnetka,
prepisa in ocene po klicu.
Omejitve
- Zaznavanje menjave govorca poteka na strežniku in je vedno vklopljeno; menjave govorca, ki jih upravlja Pipecat
(
turn_detection=False), niso podprte. - Funkcije, registrirane v storitvi, se izvajajo samo za seje v vrstici. Shranjeni agent v ThunderPhone izvaja lastna orodja.
- Zvok je v obeh smereh 16-bitni enokanalni PCM pri 24 kHz.
- Video sličice se prezrejo.