Open in
Tumia ThunderPhone kutoka LiveKit Agents
Endesha ejenti ya sauti ya ThunderPhone kama modeli ya wakati halisi (hotuba-kwa-hotuba) ya kipindi cha LiveKit Agents, ikiwa na vyumba vya LiveKit, SIP na telefoni kuizunguka.
LiveKit Agents ni fremu huria ya ejenti za sauti za wakati halisi inayotumia vyumba vya LiveKit. ThunderPhone huunganishwa kama muundo wa wakati halisi: fremu hutuma sauti ya mshiriki, ThunderPhone hurejesha sauti ya ejenti, manukuu na miito ya vitendakazi, huku vyumba vya LiveKit, tranki za SIP na simu zikisafirisha sauti. Utambuzi wa sauti, muundo wa lugha, sauti, ubadilishanaji wa zamu, lugha 62 na zana zote huendeshwa kwenye ThunderPhone.
Simu zinazopigwa kwa njia hii huonekana katika historia ya simu na hutozwa kama simu nyingine yoyote ya wakati halisi (bei). Hakuna usajili wala nambari ya simu ya ThunderPhone inayohusika.
Sakinisha
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyKwa uv, uv add "livekit-agents[thunderphone]~=1.8" husakinisha programu-jalizi hiyo hiyo. Inapatikana katika hazina ya livekit/agents na hutolewa pamoja na livekit-agents yenyewe, kwa hivyo weka zote mbili kwenye toleo sawa. LiveKit inaielezea katika mwongozo wake wa programu-jalizi ya ThunderPhone.
Programu-jalizi inafunika muundo wa OpenAI Realtime wa LiveKit, kwa sababu
Realtime WebSocket ya ThunderPhone hutumia itifaki
hiyohiyo. Inahitaji livekit-agents 1.8 au toleo jipya zaidi.
Endesha ejenti iliyohifadhiwa
Kila kitu anachofanya ejenti (prompt, sauti, injini, lugha, zana, salamu, ukaguzi wa ukimya) husanidiwa kwenye ThunderPhone. Kikao huhamisha sauti pekee. Unda ejenti kwenye dashibodi, au mwache Zeus (ejenti ya AI inayounda, kujaribu na kuboresha ejenti za ThunderPhone) aisakinishe, kisha pitisha ID yake hapa. Mabadiliko unayoweka kwenye ThunderPhone hutumika kwenye simu inayofuata bila kugusa msimbo wako wa LiveKit.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))Ejenti iliyohifadhiwa husalimia na kuendesha zana zake kwenye ThunderPhone;
maelekezo na zana za Agent ya LiveKit hazitumwi. Simu huisha ejenti ya
ThunderPhone inapokata simu, na kikao hufungwa pamoja nayo.
Sanidi kikao moja kwa moja
Bila agent_id, maagizo na zana hutoka kwenye LiveKit Agent, kwa njia
ile ile kama zinavyotoka kwa OpenAI. model huchagua injini na voice huchagua sauti ya
ThunderPhone.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstThunderPhone hufungia maelekezo na zana simu inapoanza, hivyo
update_instructions, update_tools na uhamishaji wa ejenti unaozibadilisha
hauauniwi katikati ya simu. Vipindi vya moja kwa moja hudhibitiwa na mteja:
ejenti huzungumza unapopiga generate_reply() au mshiriki anapomaliza zamu.
Chaguo
| Hoja | Maana |
|---|---|
api_key | Ufunguo wa siri (sk_live_...). Chaguomsingi ni THUNDERPHONE_API_KEY. |
agent_id | Endesha ejenti iliyohifadhiwa. Haiwezi kutumika pamoja na model na voice. |
model | Injini ya vipindi vya ndani ya mstari: bolt (spark na storm za zamani bado zinakubaliwa). |
voice | Jina la sauti ya ThunderPhone kwa vipindi vya ndani ya mstari. |
language | Kidokezo cha lugha ya msingi kwa vipindi vya ndani ya mstari, kwa mfano es. |
caller_number, callee_number | Nambari za simu za simu hiyo wakati chumba kinawakilisha laini ya simu. Zinaonekana kama nambari za kutoka na kwenda katika historia ya simu. |
live_transcripts | Tiririsha vipande vya nakala ya matamshi ya mpigaji simu katikati ya usemi (hutozwa ziada). |
base_url | Badilisha endpoint, chaguomsingi ni wss://api.thunderphone.com/v1/realtime. |
Matukio
ThunderPhone huongeza matukio ya jukwaa juu ya itifaki ya muda halisi. Kipindi huyatoa:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])RealtimeSession hutoa call_id mara kipindi kinapoanza. Itumie pamoja na
GET /v1/calls/{call_id} kupata rekodi,
manukuu na tathmini baada ya simu. Kila tukio lingine la call.* (uhamisho,
kitufe cha namba, usemi uliopuuzwa) huwasili kama thunderphone_call_event.
Vikomo
- Utambuzi wa zamu hufanywa upande wa seva na huwa umewashwa daima; utambuzi wa zamu
upande wa fremu (
turn_detectionkwenyeAgentSession) hupuuzwa. - Maagizo na zana haziwezi kubadilishwa baada ya simu kuanza.
- Sauti ni PCM ya mono ya biti 16 kwa 24 kHz katika pande zote mbili.
- Fremu za video hupuuzwa.