ThunderPhone v3 je venku.Spustíte sami, od 2 ¢/min.Přečíst oznámení

Connect tools & data

Používejte ThunderPhone z LiveKit Agents

Spusťte hlasového agenta ThunderPhone jako model v reálném čase (řeč na řeč) relace LiveKit Agents s místnostmi LiveKit, SIP a telefonií.

LiveKit Agents je open-source framework pro hlasové agenty v reálném čase postavený nad místnostmi LiveKit. ThunderPhone se připojuje jako model v reálném čase: framework odesílá zvuk účastníka, ThunderPhone vrací hlas agenta, přepisy a volání funkcí a místnost LiveKit, SIP trunky a telefonie přenášejí zvuk. Rozpoznávání řeči, jazykový model, hlas, střídání mluvčích, 62 jazyků a nástroje běží v ThunderPhone.

Hovory uskutečněné tímto způsobem se zobrazí v historii hovorů a jsou účtovány jako jakýkoli jiný hovor v reálném čase (ceník). Není vyžadováno žádné předplatné ani telefonní číslo ThunderPhone.

Instalace

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

S uv nainstaluje uv add "livekit-agents[thunderphone]~=1.8" stejný plugin. Je součástí repozitáře livekit/agents a vydává se společně se samotným livekit-agents, proto oba udržujte ve stejné verzi. LiveKit jej dokumentuje ve svém vlastním průvodci pluginem ThunderPhone.

Plugin obaluje model OpenAI Realtime pro LiveKit, protože Realtime WebSocket ThunderPhone používá stejný protokol. Vyžaduje livekit-agents ve verzi 1.8 nebo novější.

Spuštění uloženého agenta

Vše, co agent dělá (pokyn, hlas, engine, jazyky, nástroje, pozdrav, kontroly ticha), se konfiguruje v ThunderPhone. Relace pouze přenáší zvuk. Vytvořte agenta v dashboardu nebo jej nechte nastavit Zeusem (AI agentem, který vytváří, testuje a ladí agenty ThunderPhone), a poté sem předejte jeho ID. Změny, které nasadíte v ThunderPhone, se projeví v následujícím hovoru, aniž byste museli zasahovat do kódu LiveKit.

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

Uložený agent pozdraví a spouští vlastní nástroje v ThunderPhone; instrukce a nástroje Agent z LiveKit se neodesílají. Hovor skončí, když agent ThunderPhone zavěsí, a relace se spolu s ním uzavře.

Konfigurace relace přímo v kódu

Bez agent_id pocházejí instrukce a nástroje z LiveKit Agent, stejně jako u OpenAI. model vybírá engine a voice vybírá hlas ThunderPhone.

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

ThunderPhone při zahájení hovoru uzamkne instrukce a nástroje, takže update_instructions, update_tools a předání agentovi, která je mění, nejsou během hovoru podporována. Relace v kódu jsou řízené klientem: agent promluví, když zavoláte generate_reply() nebo když účastník dokončí promluvu.

Možnosti

ArgumentVýznam
api_keyTajný klíč (sk_live_...). Výchozí hodnota je THUNDERPHONE_API_KEY.
agent_idSpustí uloženého agenta. Vzájemně se vylučuje s model a voice.
modelModul pro vložené relace: bolt (starší spark a storm jsou stále podporovány).
voiceNázev hlasu ThunderPhone pro vložené relace.
languageNápověda k primárnímu jazyku pro vložené relace, například es.
caller_number, callee_numberTelefonní čísla hovoru, když místnost zprostředkovává telefonní linku. V historii hovorů se zobrazují jako čísla od a komu.
live_transcriptsStreamuje fragmenty přepisu volajícího během promluvy (účtováno zvlášť).
base_urlPřepsání koncového bodu, výchozí hodnota je wss://api.thunderphone.com/v1/realtime.

Události

ThunderPhone přidává k realtime protokolu události platformy. Relace je vysílá:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

Jakmile je relace aktivní, RealtimeSession zpřístupní call_id. Použijte ho s GET /v1/calls/{call_id} k načtení nahrávky, přepisu a hodnocení po hovoru. Každá další událost call.* (přepojení, klávesnice, ignorovaná řeč) přichází jako thunderphone_call_event.

Omezení

  • Detekce střídání replik probíhá na serveru a je vždy zapnutá; detekce střídání replik na straně frameworku (turn_detection v AgentSession) se ignoruje.
  • Pokyny a nástroje nelze po zahájení hovoru změnit.
  • Zvuk je 16bitové mono PCM při 24 kHz v obou směrech.
  • Snímky videa se ignorují.