Open in
Uporabljajte ThunderPhone iz LiveKit Agents
Zaženite glasovnega agenta ThunderPhone kot model v realnem času (govor-v-govor) v seji LiveKit Agents, z okoljem LiveKit rooms, SIP in telefonijo.
LiveKit Agents je odprtokodno ogrodje za glasovne agente v realnem času, ki deluje na sobah LiveKit. ThunderPhone se vključi kot model v realnem času: ogrodje pošlje zvok udeleženca, ThunderPhone vrne glas agenta, prepise in klice funkcij, soba LiveKit, debla SIP in telefonija pa prenašajo zvok. Prepoznavanje govora, jezikovni model, glas, izmenjava potez, 62 jezikov in orodja delujejo v ThunderPhone.
Tako opravljeni klici so prikazani v zgodovini klicev in se zaračunavajo kot vsi drugi klici v realnem času (cene). Naročnina ali telefonska številka ThunderPhone nista potrebni.
Namestitev
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyZ orodjem uv uv add "livekit-agents[thunderphone]~=1.8" namestite isti
vtičnik. Vtičnik je na voljo v repozitoriju
livekit/agents in je izdan skupaj s
livekit-agents, zato naj bosta v isti različici. LiveKit ga dokumentira v
svojem vodniku za vtičnik ThunderPhone.
Vtičnik ovije model OpenAI Realtime iz LiveKit, ker Realtime WebSocket
ThunderPhone uporablja isti protokol. Zahteva livekit-agents 1.8 ali novejšo različico.
Zaženite shranjenega agenta
Vse, kar agent počne (poziv, glas, mehanizem, jeziki, orodja, pozdrav, preverjanja ob tišini), nastavite v ThunderPhone. Seja prenaša le zvok. Agenta ustvarite na nadzorni plošči ali pa naj ga nastavi Zeus (agent z umetno inteligenco, ki ustvarja, preizkuša in prilagaja agente ThunderPhone), nato pa tukaj posredujte njegov ID. Spremembe, ki jih uvedete v ThunderPhone, veljajo za naslednji klic, ne da bi se dotaknili kode LiveKit.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))Shranjeni agent pozdravi in izvaja lastna orodja v ThunderPhone; navodila in
orodja LiveKitovega Agent niso poslana. Klic se konča, ko agent ThunderPhone
odloži slušalko, seja pa se zaključi z njim.
Konfigurirajte sejo v vrstici
Brez agent_id navodila in orodja izhajajo iz LiveKit Agent, enako kot pri OpenAI. model izbere mehanizem, voice pa glas ThunderPhone.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstThunderPhone ob začetku klica zamrzne navodila in orodja, zato
update_instructions, update_tools in predaje med agenti, ki jih spremenijo,
med klicem niso podprte. Seje v vrstici upravlja odjemalec: agent govori, ko
pokličete generate_reply() ali ko udeleženec zaključi potezo.
Možnosti
| Argument | Pomen |
|---|---|
api_key | Skrivni ključ (sk_live_...). Privzeto je nastavljen na THUNDERPHONE_API_KEY. |
agent_id | Zaženite shranjenega agenta. Medsebojno se izključuje z model in voice. |
model | Mehanizem za vdelane seje: bolt (starejša spark in storm sta še vedno podprta). |
voice | Ime glasu ThunderPhone za vdelane seje. |
language | Namig za primarni jezik za vdelane seje, npr. es. |
caller_number, callee_number | Telefonski številki klica, ko soba predstavlja telefonsko linijo. V zgodovini klicev sta prikazani kot številki od in do. |
live_transcripts | Pretakajte delce prepisa klicatelja med izgovorjavo (dodatno zaračunano). |
base_url | Preglasitev končne točke, privzeto wss://api.thunderphone.com/v1/realtime. |
Dogodki
ThunderPhone poleg protokola v realnem času dodaja dogodke platforme. Seja jih oddaja:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])RealtimeSession izpostavi call_id, ko seja postane aktivna. Uporabite ga z
GET /v1/calls/{call_id} za pridobitev posnetka,
prepisa in ocene po klicu. Vsi drugi dogodki call.* (preusmeritev,
tipkovnica, prezrt govor) prispejo kot thunderphone_call_event.
Omejitve
- Zaznavanje potez poteka na strežniški strani in je vedno vklopljeno; zaznavanje
potez na strani ogrodja (
turn_detectionvAgentSession) se prezre. - Navodil in orodij po začetku klica ni mogoče spremeniti.
- Zvok je 16-bitni enokanalni PCM pri 24 kHz v obeh smereh.
- Videookvirji se prezrejo.