ThunderPhone v3 ir klāt.Sāciet patstāvīgi — no 2 ¢/min.Lasīt paziņojumu

Connect tools & data

Izmantojiet ThunderPhone no LiveKit Agents

Darbiniet ThunderPhone balss aģentu kā LiveKit Agents sesijas reāllaika (runa-runa) modeli, izmantojot LiveKit telpas, SIP un telefoniju.

LiveKit Agents ir atvērtā pirmkoda ietvars reāllaika balss aģentiem, kas darbojas LiveKit telpās. ThunderPhone tiek integrēts kā reāllaika modelis: ietvars nosūta dalībnieka audio, ThunderPhone atgriež aģenta balsi, transkriptus un funkciju izsaukumus, bet LiveKit telpas, SIP maģistrāles un telefonija pārraida audio. Runas atpazīšana, valodas modelis, balss, sarunas gājienu pārvaldība, 62 valodas un rīki — tas viss darbojas ThunderPhone.

Šādi veikti zvani tiek rādīti zvanu vēsturē, un par tiem tiek piemērota maksa tāpat kā par jebkuru citu reāllaika zvanu (cenas). Nav ne abonementa, ne iesaistīta ThunderPhone tālruņa numura.

Instalēšana

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Izmantojot uv, uv add "livekit-agents[thunderphone]~=1.8" instalē to pašu spraudni. Tas ir pieejams livekit/agents repozitorijā un tiek izlaists kopā ar pašu livekit-agents, tāpēc abiem izmantojiet vienu un to pašu versiju. LiveKit to dokumentē savā ThunderPhone spraudņa ceļvedī.

Spraudnis aptver LiveKit OpenAI Realtime modeli, jo ThunderPhone Realtime WebSocket izmanto to pašu protokolu. Tam ir nepieciešams livekit-agents 1.8 vai jaunāks.

Saglabāta aģenta palaišana

Viss, ko balss aģents dara (uzvedne, balss, dzinis, valodas, rīki, sasveicināšanās, klusuma pārbaudes), tiek konfigurēts pakalpojumā ThunderPhone. Sesija tikai pārsūta audio. Izveidojiet balss aģentu informācijas panelī vai uzticiet tā iestatīšanu Zeus (AI aģentam, kas veido, testē un pielāgo ThunderPhone aģentus), pēc tam šeit norādiet tā ID. ThunderPhone izvietotās izmaiņas tiks piemērotas nākamajam zvanam, nemainot jūsu LiveKit kodu.

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

Saglabāts balss aģents sveicina un palaiž savus rīkus ThunderPhone; LiveKit Agent norādījumi un rīki netiek nosūtīti. Zvans beidzas, kad ThunderPhone aģents noliek klausuli, un līdz ar to tiek aizvērta arī sesija.

Sesijas konfigurēšana iekļauti

Bez agent_id norādes un rīki tiek iegūti no LiveKit Agent, tāpat kā OpenAI gadījumā. model izvēlas dzini, bet voice izvēlas ThunderPhone balsi.

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

ThunderPhone fiksē norādījumus un rīkus, kad zvans sākas, tāpēc update_instructions, update_tools un aģentu nodošana, kas tos maina, zvana laikā netiek atbalstīti. Iekļautās sesijas vada klients: aģents runā, kad izsaucat generate_reply() vai kad dalībnieks pabeidz runas kārtu.

Opcijas

ArgumentsNozīme
api_keySlepenā atslēga (sk_live_...). Pēc noklusējuma izmanto THUNDERPHONE_API_KEY.
agent_idPalaidiet saglabātu balss aģentu. Savstarpēji izslēdzošs ar model un voice.
modelDzinējs iekļautajām sesijām: bolt (joprojām tiek pieņemti arī vecākie spark un storm).
voiceThunderPhone balss nosaukums iekļautajām sesijām.
languagePrimārās valodas norāde iekļautajām sesijām, piemēram, es.
caller_number, callee_numberZvanu tālruņa numuri, kad telpa apkalpo tālruņa līniju. Tie zvanu vēsturē tiek rādīti kā numuri no un uz.
live_transcriptsStraumējiet zvanītāja transkripcijas fragmentus runas laikā (par papildu maksu).
base_urlGalapunkta ignorēšana; pēc noklusējuma wss://api.thunderphone.com/v1/realtime.

Notikumi

ThunderPhone papildina reāllaika protokolu ar platformas notikumiem. Sesija tos ģenerē:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

RealtimeSession nodrošina call_id, tiklīdz sesija ir aktīva. Izmantojiet to ar GET /v1/calls/{call_id}, lai pēc zvana iegūtu ierakstu, transkripciju un vērtējumu. Visi pārējie call.* notikumi (pārsūtīšana, tastatūra, ignorēta runa) tiek saņemti kā thunderphone_call_event.

Ierobežojumi

  • Runas kārtu noteikšana notiek servera pusē un vienmēr ir ieslēgta; ietvara puses runas kārtu noteikšana (turn_detection objektā AgentSession) tiek ignorēta.
  • Norādījumus un rīkus pēc zvana sākuma nevar mainīt.
  • Audio abos virzienos ir 16 bitu mono PCM ar 24 kHz frekvenci.
  • Video kadri tiek ignorēti.