ThunderPhone v3 je tu.Začnite sami, už od 2 ¢/min.Prečítať oznámenie

Connect tools & data

Používanie ThunderPhone z LiveKit Agents

Spustite hlasového agenta ThunderPhone ako model v reálnom čase (z reči na reč) relácie LiveKit Agents s miestnosťami LiveKit, protokolom SIP a telefóniou okolo neho.

LiveKit Agents je open-source framework pre hlasových agentov v reálnom čase postavený na miestnostiach LiveKit. ThunderPhone sa pripája ako model v reálnom čase: framework odosiela zvuk účastníka, ThunderPhone vracia hlas agenta, prepisy a volania funkcií a miestnosť LiveKit, SIP trunky a telefónia prenášajú zvuk. Rozpoznávanie reči, jazykový model, hlas, striedanie ťahov, 62 jazykov a nástroje bežia na ThunderPhone.

Takto uskutočnené hovory sa zobrazia v histórii hovorov a účtujú sa ako každý iný hovor v reálnom čase (cenník). Nie je potrebné žiadne predplatné ani telefónne číslo ThunderPhone.

Inštalácia

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Pomocou uv príkaz uv add "livekit-agents[thunderphone]~=1.8" nainštaluje rovnaký plugin. Nachádza sa v repozitári livekit/agents a vydáva sa spolu so samotným livekit-agents, preto oba ponechajte v rovnakej verzii. LiveKit ho dokumentuje vo vlastnej príručke k pluginu ThunderPhone.

Doplnok používa model OpenAI Realtime od LiveKit, pretože Realtime WebSocket ThunderPhone používa rovnaký protokol. Vyžaduje livekit-agents vo verzii 1.8 alebo novšej.

Spustenie uloženého agenta

Všetko, čo agent robí (výzva, hlas, engine, jazyky, nástroje, pozdrav, kontroly ticha), sa konfiguruje v ThunderPhone. Relácia prenáša iba zvuk. Vytvorte agenta na paneli alebo ho nechajte nastaviť Zeusovi (AI agentovi, ktorý vytvára, testuje a dolaďuje agentov ThunderPhone), potom sem zadajte jeho ID. Zmeny, ktoré nasadíte v ThunderPhone, sa použijú pri nasledujúcom hovore bez zásahu do vášho kódu LiveKit.

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

Uložený agent sa pozdraví a spúšťa vlastné nástroje v ThunderPhone; pokyny a nástroje Agent v LiveKit sa neodosielajú. Hovor sa skončí, keď agent ThunderPhone zavesí, a relácia sa spolu s ním ukončí.

Konfigurácia relácie priamo v kóde

Bez agent_id pochádzajú pokyny a nástroje z LiveKit Agent, rovnako ako pri OpenAI. model vyberá model a voice vyberá hlas ThunderPhone.

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

ThunderPhone pri začatí hovoru zafixuje pokyny a nástroje, takže update_instructions, update_tools a odovzdania agentovi, ktoré ich menia, nie sú počas hovoru podporované. Relácie v kóde sú riadené klientom: agent hovorí, keď zavoláte generate_reply() alebo keď účastník dokončí svoju repliku.

Možnosti

ArgumentVýznam
api_keyTajný kľúč (sk_live_...). Predvolene sa použije THUNDERPHONE_API_KEY.
agent_idSpustí uloženého agenta. Vzájomne sa vylučuje s model a voice.
modelModel pre vložené relácie: bolt (staršie spark a storm sú stále podporované).
voiceNázov hlasu ThunderPhone pre vložené relácie.
languageNápoveda pre primárny jazyk vložených relácií, napr. es.
caller_number, callee_numberTelefónne čísla hovoru, keď miestnosť obsluhuje telefónnu linku. V histórii hovorov sa zobrazia ako čísla od a komu.
live_transcriptsStreamuje fragmenty prepisu volajúceho počas výpovede (spoplatnené navyše).
base_urlPrepísanie koncového bodu, predvolene wss://api.thunderphone.com/v1/realtime.

Udalosti

ThunderPhone pridáva k protokolu realtime udalosti platformy. Relácia ich vysiela:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

Objekt RealtimeSession sprístupní call_id, keď je relácia aktívna. Použite ho s GET /v1/calls/{call_id} na získanie nahrávky, prepisu a hodnotenia po hovore. Každá ďalšia udalosť call.* (presmerovanie, klávesnica, ignorovaná reč) prichádza ako thunderphone_call_event.

Obmedzenia

  • Detekcia striedania replík prebieha na strane servera a je vždy aktívna; detekcia striedania replík na strane frameworku (turn_detection v AgentSession) sa ignoruje.
  • Pokyny a nástroje po začatí hovoru nemožno zmeniť.
  • Zvuk je 16-bitové mono PCM pri 24 kHz v oboch smeroch.
  • Videorámce sa ignorujú.