Open in
Käytä ThunderPhonea LiveKit Agentsista
Käytä ThunderPhone-puheagenttia LiveKit Agents -istunnon reaaliaikaisena (puheesta puheeksi) mallina LiveKit-huoneiden, SIPin ja puhelintoimintojen ympäröimänä.
LiveKit Agents on avoimen lähdekoodin kehys reaaliaikaisille puheagenteille LiveKit-huoneiden päällä. ThunderPhone liitetään reaaliaikaisena mallina: kehys lähettää osallistujan äänen, ThunderPhone palauttaa agentin äänen, transkriptit ja funktiokutsut, ja LiveKitin huone, SIP-rungot ja puhelinjärjestelmä välittävät äänen. Puheentunnistus, kielimalli, ääni, vuorottelu, 62 kieltä ja työkalut toimivat kaikki ThunderPhonessa.
Näin tehdyt puhelut näkyvät puheluhistoriassa, ja ne laskutetaan kuten muutkin reaaliaikaiset puhelut (hinnoittelu). Niihin ei liity tilausta eikä ThunderPhone-puhelinnumeroa.
Asenna
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyuv:llä uv add "livekit-agents[thunderphone]~=1.8" asentaa saman
liitännäisen. Se toimitetaan livekit/agents
-tietovarastossa ja julkaistaan livekit-agents-paketin kanssa, joten pidä nämä
samassa versiossa. LiveKit dokumentoi sen omassa
ThunderPhone-liitännäisoppaassaan.
Lisäosa käärii LiveKitin OpenAI Realtime -mallin, koska ThunderPhonen
Realtime WebSocket käyttää samaa protokollaa. Se
vaatii livekit-agents-version 1.8 tai uudemman.
Käynnistä tallennettu agentti
Kaikki, mitä agentti tekee (kehote, ääni, moottori, kielet, työkalut, tervehdys, hiljaisuuden tarkistukset), määritetään ThunderPhonessa. Istunto välittää vain ääntä. Luo agentti hallintapaneelissa tai anna Zeuksen (tekoälyagentin, joka rakentaa, testaa ja hienosäätää ThunderPhone-agentteja) määrittää se, ja anna sitten sen tunnus tässä. ThunderPhoneen julkaisemasi muutokset tulevat voimaan seuraavassa puhelussa ilman, että LiveKit-koodiasi tarvitsee muuttaa.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))Tallennettu agentti tervehtii ja käyttää omia työkalujaan ThunderPhonessa;
LiveKitin Agent-agentin ohjeita ja työkaluja ei lähetetä. Puhelu päättyy, kun
ThunderPhone-agentti katkaisee puhelun, ja istunto sulkeutuu sen mukana.
Määritä istunto suoraan
Ilman agent_id:tä ohjeet ja työkalut tulevat LiveKit-Agent-agentilta samalla tavalla kuin OpenAI:ssa. model valitsee moottorin ja voice valitsee ThunderPhone-äänen.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstThunderPhone lukitsee ohjeet ja työkalut puhelun alkaessa, joten
update_instructions, update_tools ja niitä muuttavia agentin siirtoja ei
tueta kesken puhelun. Suoraan määritetyt istunnot ovat asiakassovelluksen
ohjaamia: agentti puhuu, kun kutsut generate_reply()-funktiota tai kun
osallistuja päättää puheenvuoronsa.
Vaihtoehdot
| Argumentti | Merkitys |
|---|---|
api_key | Salainen avain (sk_live_...). Oletusarvo on THUNDERPHONE_API_KEY. |
agent_id | Suorita tallennettu agentti. Ei voi käyttää yhdessä model- ja voice-asetusten kanssa. |
model | Moottori upotetuille istunnoille: bolt (myös vanhemmat spark ja storm hyväksytään edelleen). |
voice | ThunderPhone-äänen nimi upotetuille istunnoille. |
language | Ensisijaisen kielen vihje upotetuille istunnoille, esimerkiksi es. |
caller_number, callee_number | Puhelun puhelinnumerot, kun huone toimii puhelinlinjan edustana. Ne näkyvät puheluhistoriassa lähde- ja kohdenumeroina. |
live_transcripts | Suoratoista soittajan transkriptikatkelmia kesken puheenvuoron (lisäveloitus). |
base_url | Päätepisteen ohitus, oletusarvo wss://api.thunderphone.com/v1/realtime. |
Tapahtumat
ThunderPhone lisää reaaliaikaprotokollan päälle alustatapahtumia. Istunto lähettää ne:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])RealtimeSession tarjoaa call_id:n, kun istunto on käynnissä. Käytä sitä
yhdessä GET /v1/calls/{call_id} -pyynnön kanssa hakeaksesi puhelun
jälkeen tallenteen, litteroinnin ja arvioinnin. Kaikki muut call.*-tapahtumat
(siirto, näppäimistö, puhe ohitettu) saapuvat tapahtumana thunderphone_call_event.
Rajoitukset
- Vuorontunnistus tapahtuu palvelinpuolella ja on aina käytössä; kehyspuolen
vuorontunnistus (
turn_detectionkohteessaAgentSession) ohitetaan. - Ohjeita ja työkaluja ei voi muuttaa puhelun alkamisen jälkeen.
- Ääni on 16-bittistä mono-PCM:ää 24 kHz:n taajuudella kumpaankin suuntaan.
- Videokehykset ohitetaan.