ThunderPhone v3 je zdaj na voljo.Začnite sami, že od 2 ¢/min.Preberite obvestilo

Connect tools & data

Uporabljajte ThunderPhone iz LiveKit Agents

Zaženite glasovnega agenta ThunderPhone kot model v realnem času (govor-v-govor) v seji LiveKit Agents, z okoljem LiveKit rooms, SIP in telefonijo.

LiveKit Agents je odprtokodno ogrodje za glasovne agente v realnem času, ki deluje na sobah LiveKit. ThunderPhone se vključi kot model v realnem času: ogrodje pošlje zvok udeleženca, ThunderPhone vrne glas agenta, prepise in klice funkcij, soba LiveKit, debla SIP in telefonija pa prenašajo zvok. Prepoznavanje govora, jezikovni model, glas, izmenjava potez, 62 jezikov in orodja delujejo v ThunderPhone.

Tako opravljeni klici so prikazani v zgodovini klicev in se zaračunavajo kot vsi drugi klici v realnem času (cene). Naročnina ali telefonska številka ThunderPhone nista potrebni.

Namestitev

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Z orodjem uv uv add "livekit-agents[thunderphone]~=1.8" namestite isti vtičnik. Vtičnik je na voljo v repozitoriju livekit/agents in je izdan skupaj s livekit-agents, zato naj bosta v isti različici. LiveKit ga dokumentira v svojem vodniku za vtičnik ThunderPhone.

Vtičnik ovije model OpenAI Realtime iz LiveKit, ker Realtime WebSocket ThunderPhone uporablja isti protokol. Zahteva livekit-agents 1.8 ali novejšo različico.

Zaženite shranjenega agenta

Vse, kar agent počne (poziv, glas, mehanizem, jeziki, orodja, pozdrav, preverjanja ob tišini), nastavite v ThunderPhone. Seja prenaša le zvok. Agenta ustvarite na nadzorni plošči ali pa naj ga nastavi Zeus (agent z umetno inteligenco, ki ustvarja, preizkuša in prilagaja agente ThunderPhone), nato pa tukaj posredujte njegov ID. Spremembe, ki jih uvedete v ThunderPhone, veljajo za naslednji klic, ne da bi se dotaknili kode LiveKit.

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

Shranjeni agent pozdravi in izvaja lastna orodja v ThunderPhone; navodila in orodja LiveKitovega Agent niso poslana. Klic se konča, ko agent ThunderPhone odloži slušalko, seja pa se zaključi z njim.

Konfigurirajte sejo v vrstici

Brez agent_id navodila in orodja izhajajo iz LiveKit Agent, enako kot pri OpenAI. model izbere mehanizem, voice pa glas ThunderPhone.

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

ThunderPhone ob začetku klica zamrzne navodila in orodja, zato update_instructions, update_tools in predaje med agenti, ki jih spremenijo, med klicem niso podprte. Seje v vrstici upravlja odjemalec: agent govori, ko pokličete generate_reply() ali ko udeleženec zaključi potezo.

Možnosti

ArgumentPomen
api_keySkrivni ključ (sk_live_...). Privzeto je nastavljen na THUNDERPHONE_API_KEY.
agent_idZaženite shranjenega agenta. Medsebojno se izključuje z model in voice.
modelMehanizem za vdelane seje: bolt (starejša spark in storm sta še vedno podprta).
voiceIme glasu ThunderPhone za vdelane seje.
languageNamig za primarni jezik za vdelane seje, npr. es.
caller_number, callee_numberTelefonski številki klica, ko soba predstavlja telefonsko linijo. V zgodovini klicev sta prikazani kot številki od in do.
live_transcriptsPretakajte delce prepisa klicatelja med izgovorjavo (dodatno zaračunano).
base_urlPreglasitev končne točke, privzeto wss://api.thunderphone.com/v1/realtime.

Dogodki

ThunderPhone poleg protokola v realnem času dodaja dogodke platforme. Seja jih oddaja:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

RealtimeSession izpostavi call_id, ko seja postane aktivna. Uporabite ga z GET /v1/calls/{call_id} za pridobitev posnetka, prepisa in ocene po klicu. Vsi drugi dogodki call.* (preusmeritev, tipkovnica, prezrt govor) prispejo kot thunderphone_call_event.

Omejitve

  • Zaznavanje potez poteka na strežniški strani in je vedno vklopljeno; zaznavanje potez na strani ogrodja (turn_detection v AgentSession) se prezre.
  • Navodil in orodij po začetku klica ni mogoče spremeniti.
  • Zvok je 16-bitni enokanalni PCM pri 24 kHz v obeh smereh.
  • Videookvirji se prezrejo.