ThunderPhone v3 on julkaistu.Ota käyttöön itse – alkaen 2 ¢/min.Lue lisää julkistuksesta

Connect tools & data

Käytä ThunderPhonea LiveKit Agentsista

Käytä ThunderPhone-puheagenttia LiveKit Agents -istunnon reaaliaikaisena (puheesta puheeksi) mallina LiveKit-huoneiden, SIPin ja puhelintoimintojen ympäröimänä.

LiveKit Agents on avoimen lähdekoodin kehys reaaliaikaisille puheagenteille LiveKit-huoneiden päällä. ThunderPhone liitetään reaaliaikaisena mallina: kehys lähettää osallistujan äänen, ThunderPhone palauttaa agentin äänen, transkriptit ja funktiokutsut, ja LiveKitin huone, SIP-rungot ja puhelinjärjestelmä välittävät äänen. Puheentunnistus, kielimalli, ääni, vuorottelu, 62 kieltä ja työkalut toimivat kaikki ThunderPhonessa.

Näin tehdyt puhelut näkyvät puheluhistoriassa, ja ne laskutetaan kuten muutkin reaaliaikaiset puhelut (hinnoittelu). Niihin ei liity tilausta eikä ThunderPhone-puhelinnumeroa.

Asenna

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

uv:llä uv add "livekit-agents[thunderphone]~=1.8" asentaa saman liitännäisen. Se toimitetaan livekit/agents -tietovarastossa ja julkaistaan livekit-agents-paketin kanssa, joten pidä nämä samassa versiossa. LiveKit dokumentoi sen omassa ThunderPhone-liitännäisoppaassaan.

Lisäosa käärii LiveKitin OpenAI Realtime -mallin, koska ThunderPhonen Realtime WebSocket käyttää samaa protokollaa. Se vaatii livekit-agents-version 1.8 tai uudemman.

Käynnistä tallennettu agentti

Kaikki, mitä agentti tekee (kehote, ääni, moottori, kielet, työkalut, tervehdys, hiljaisuuden tarkistukset), määritetään ThunderPhonessa. Istunto välittää vain ääntä. Luo agentti hallintapaneelissa tai anna Zeuksen (tekoälyagentin, joka rakentaa, testaa ja hienosäätää ThunderPhone-agentteja) määrittää se, ja anna sitten sen tunnus tässä. ThunderPhoneen julkaisemasi muutokset tulevat voimaan seuraavassa puhelussa ilman, että LiveKit-koodiasi tarvitsee muuttaa.

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

Tallennettu agentti tervehtii ja käyttää omia työkalujaan ThunderPhonessa; LiveKitin Agent-agentin ohjeita ja työkaluja ei lähetetä. Puhelu päättyy, kun ThunderPhone-agentti katkaisee puhelun, ja istunto sulkeutuu sen mukana.

Määritä istunto suoraan

Ilman agent_id:tä ohjeet ja työkalut tulevat LiveKit-Agent-agentilta samalla tavalla kuin OpenAI:ssa. model valitsee moottorin ja voice valitsee ThunderPhone-äänen.

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

ThunderPhone lukitsee ohjeet ja työkalut puhelun alkaessa, joten update_instructions, update_tools ja niitä muuttavia agentin siirtoja ei tueta kesken puhelun. Suoraan määritetyt istunnot ovat asiakassovelluksen ohjaamia: agentti puhuu, kun kutsut generate_reply()-funktiota tai kun osallistuja päättää puheenvuoronsa.

Vaihtoehdot

ArgumenttiMerkitys
api_keySalainen avain (sk_live_...). Oletusarvo on THUNDERPHONE_API_KEY.
agent_idSuorita tallennettu agentti. Ei voi käyttää yhdessä model- ja voice-asetusten kanssa.
modelMoottori upotetuille istunnoille: bolt (myös vanhemmat spark ja storm hyväksytään edelleen).
voiceThunderPhone-äänen nimi upotetuille istunnoille.
languageEnsisijaisen kielen vihje upotetuille istunnoille, esimerkiksi es.
caller_number, callee_numberPuhelun puhelinnumerot, kun huone toimii puhelinlinjan edustana. Ne näkyvät puheluhistoriassa lähde- ja kohdenumeroina.
live_transcriptsSuoratoista soittajan transkriptikatkelmia kesken puheenvuoron (lisäveloitus).
base_urlPäätepisteen ohitus, oletusarvo wss://api.thunderphone.com/v1/realtime.

Tapahtumat

ThunderPhone lisää reaaliaikaprotokollan päälle alustatapahtumia. Istunto lähettää ne:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

RealtimeSession tarjoaa call_id:n, kun istunto on käynnissä. Käytä sitä yhdessä GET /v1/calls/{call_id} -pyynnön kanssa hakeaksesi puhelun jälkeen tallenteen, litteroinnin ja arvioinnin. Kaikki muut call.*-tapahtumat (siirto, näppäimistö, puhe ohitettu) saapuvat tapahtumana thunderphone_call_event.

Rajoitukset

  • Vuorontunnistus tapahtuu palvelinpuolella ja on aina käytössä; kehyspuolen vuorontunnistus (turn_detection kohteessa AgentSession) ohitetaan.
  • Ohjeita ja työkaluja ei voi muuttaa puhelun alkamisen jälkeen.
  • Ääni on 16-bittistä mono-PCM:ää 24 kHz:n taajuudella kumpaankin suuntaan.
  • Videokehykset ohitetaan.