Open in
Koristite ThunderPhone iz LiveKit Agentsa
Pokrenite glasovnog agenta ThunderPhone kao model u stvarnom vremenu (govor-u-govor) u sesiji LiveKit Agentsa, uz LiveKit sobe, SIP i telefoniju oko njega.
LiveKit Agents je okvir otvorenog koda za glasovne agente u stvarnom vremenu povrh LiveKit soba. ThunderPhone se povezuje kao model u stvarnom vremenu: okvir šalje zvuk sudionika, ThunderPhone vraća glas agenta, transkripte i pozive funkcija, a LiveKit sobe, SIP trunkovi i telefonija prenose zvuk. Prepoznavanje govora, jezični model, glas, izmjena redoslijeda govora, 62 jezika i alati svi se izvršavaju na ThunderPhoneu.
Pozivi upućeni na ovaj način prikazuju se u povijesti poziva i naplaćuju se kao i svaki drugi poziv u stvarnom vremenu (cijene). Nema pretplate niti je uključen telefonski broj ThunderPhone.
Instalacija
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyUz uv, uv add "livekit-agents[thunderphone]~=1.8" instalira isti
dodatak. Isporučuje se u repozitoriju livekit/agents
i objavljuje se zajedno sa samim paketom livekit-agents, stoga oba paketa zadržite na
istoj verziji. LiveKit ga dokumentira u vlastitom
vodiču za dodatak ThunderPhone.
Dodatak obuhvaća LiveKitov OpenAI Realtime model jer ThunderPhoneov
Realtime WebSocket koristi isti protokol. Potreban mu je
livekit-agents 1.8 ili noviji.
Pokrenite spremljenog agenta
Sve što agent radi (upit, glas, mehanizam, jezici, alati, pozdrav, provjere tišine) konfigurira se u ThunderPhoneu. Sesija samo prenosi zvuk. Izradite agenta na nadzornoj ploči ili neka ga Zeus (AI agent koji izrađuje, testira i prilagođava ThunderPhone agente) postavi, a zatim ovdje proslijedite njegov ID. Promjene koje implementirate u ThunderPhoneu primjenjuju se na sljedeći poziv bez izmjena vašeg LiveKit koda.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))Spremljeni agent pozdravlja i pokreće vlastite alate na ThunderPhoneu; upute i
alati LiveKit Agenta ne šalju se. Poziv završava kada
ThunderPhone agent prekine vezu, a sesija se s njime zatvara.
Konfigurirajte sesiju izravno
Bez agent_id, upute i alati dolaze iz LiveKit Agent, na isti način kao i za OpenAI. model odabire pogon, a voice odabire ThunderPhone glas.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstThunderPhone zaključava upute i alate kada poziv započne, stoga
update_instructions, update_tools i prijenosi agenta koji ih mijenjaju nisu
podržani tijekom poziva. Ugrađene sesije usmjerava klijent: agent govori
kada pozovete generate_reply() ili kada sudionik završi redoslijed govora.
Opcije
| Argument | Značenje |
|---|---|
api_key | Tajni ključ (sk_live_...). Zadano je THUNDERPHONE_API_KEY. |
agent_id | Pokrenite spremljenog agenta. Uzajamno se isključuje s model i voice. |
model | Mehanizam za ugrađene sesije: bolt (stariji spark i storm i dalje su podržani). |
voice | Naziv ThunderPhone glasa za ugrađene sesije. |
language | Naznaka primarnog jezika za ugrađene sesije, npr. es. |
caller_number, callee_number | Telefonski brojevi poziva kada soba služi kao sučelje telefonske linije. Prikazuju se kao brojevi od i prema u povijesti poziva. |
live_transcripts | Strujno prenosite fragmente prijepisa pozivatelja tijekom izgovora (dodatno se naplaćuje). |
base_url | Zamjena krajnje točke, zadano wss://api.thunderphone.com/v1/realtime. |
Događaji
ThunderPhone dodaje događaje platforme povrh protokola za rad u stvarnom vremenu. Sesija ih emitira:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])RealtimeSession izlaže call_id kada je sesija aktivna. Upotrijebite ga s
GET /v1/calls/{call_id} za dohvaćanje snimke,
prijepisa i ocjene nakon poziva. Svaki drugi događaj call.* (prijenos,
tipkovnica, ignoriran govor) stiže kao thunderphone_call_event.
Ograničenja
- Prepoznavanje izmjene govora izvodi se na poslužitelju i uvijek je uključeno; prepoznavanje izmjene govora na strani okvira
(
turn_detectionuAgentSession) zanemaruje se. - Upute i alati ne mogu se mijenjati nakon početka poziva.
- Zvuk je 16-bitni mono PCM pri 24 kHz u oba smjera.
- Videookviri se zanemaruju.