ThunderPhone v3 jau veikia.Viską atlikite savarankiškai – nuo 2 ct/min.Skaityti pranešimą

Connect tools & data

Naudokite ThunderPhone su LiveKit Agents

Paleiskite ThunderPhone balso agentą kaip LiveKit Agents sesijos realaus laiko (kalbos į kalbą) modelį, kartu naudodami LiveKit kambarius, SIP ir telefoniją.

LiveKit Agents yra atvirojo kodo sistema, skirta realiojo laiko balso agentams LiveKit kambariuose. ThunderPhone integruojamas kaip realaus laiko modelis: sistema siunčia dalyvio garsą, ThunderPhone grąžina agento balsą, transkripcijas ir funkcijų iškvietimus, o LiveKit kambarys, SIP magistralės ir telefonija perduoda garsą. Kalbos atpažinimas, kalbos modelis, balsas, pokalbio eiliškumas, 62 kalbos ir įrankiai veikia ThunderPhone.

Taip atlikti skambučiai rodomi skambučių istorijoje ir už juos mokama kaip už bet kurį kitą skambutį realiuoju laiku (kainodara). Nėra prenumeratos ir nenaudojamas joks ThunderPhone telefono numeris.

Įdiegimas

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Naudojant uv, uv add "livekit-agents[thunderphone]~=1.8" įdiegiama ta pati papildinio versija. Jis pateikiamas livekit/agents saugykloje ir išleidžiamas kartu su pačiu livekit-agents, todėl abiejų versijos turi sutapti. LiveKit jį dokumentuoja savo ThunderPhone papildinio vadove.

Papildinys apgaubia LiveKit OpenAI Realtime modelį, nes ThunderPhone Realtime WebSocket naudoja tą patį protokolą. Jam reikia livekit-agents 1.8 arba naujesnės versijos.

Paleiskite išsaugotą agentą

Viskas, ką daro agentas (raginimas, balsas, variklis, kalbos, įrankiai, pasisveikinimas, tylos patikrinimai), sukonfigūruojama ThunderPhone. Sesija tik perduoda garsą. Sukurkite agentą valdymo skydelyje arba paprašykite Zeus (DI agento, kuris kuria, testuoja ir derina ThunderPhone agentus) jį nustatyti, tada čia perduokite jo ID. ThunderPhone įdiegiami pakeitimai bus pritaikyti kitam skambučiui nekeičiant jūsų LiveKit kodo.

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

Išsaugotas agentas pasisveikina ir vykdo savo įrankius ThunderPhone; LiveKit Agent nurodymai ir įrankiai nesiunčiami. Skambutis baigiasi, kai ThunderPhone agentas nutraukia pokalbį, ir kartu uždaroma sesija.

Konfigūruokite sesiją tiesiogiai

Be agent_id, instrukcijos ir įrankiai gaunami iš LiveKit Agent, taip pat kaip ir naudojant OpenAI. model parenka modulį, o voice parenka ThunderPhone balsą.

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

ThunderPhone užfiksuoja nurodymus ir įrankius prasidėjus skambučiui, todėl update_instructions, update_tools ir agentų perdavimai, kurie juos keičia, skambučio metu nepalaikomi. Tiesioginės sesijos valdomos kliento: agentas kalba, kai iškviečiate generate_reply() arba kai dalyvis užbaigia savo ėjimą.

Parinktys

ArgumentasReikšmė
api_keySlaptasis raktas (sk_live_...). Pagal numatytuosius nustatymus naudojamas THUNDERPHONE_API_KEY.
agent_idPaleidžia išsaugotą agentą. Negali būti naudojamas kartu su model ir voice.
modelĮterptųjų seansų variklis: bolt (senesni spark ir storm vis dar priimami).
voiceThunderPhone balso pavadinimas įterptiesiems seansams.
languagePagrindinės kalbos nuoroda įterptiesiems seansams, pvz., es.
caller_number, callee_numberSkambučio telefono numeriai, kai kambarys aptarnauja telefono liniją. Skambučių istorijoje jie rodomi kaip numeriai nuo ir kam.
live_transcriptsPerduoda skambinančiojo transkripcijos fragmentus dar nebaigus pasakymo (apmokestinama papildomai).
base_urlGalinio taško pakeitimas, numatytoji reikšmė wss://api.thunderphone.com/v1/realtime.

Įvykiai

ThunderPhone prie realaus laiko protokolo prideda platformos įvykius. Seansas juos siunčia:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

Kai seansas aktyvus, RealtimeSession pateikia call_id. Naudokite jį su GET /v1/calls/{call_id}, kad po skambučio gautumėte įrašą, transkripciją ir įvertinimą. Visi kiti call.* įvykiai (peradresavimas, klaviatūra, ignoruota kalba) pateikiami kaip thunderphone_call_event.

Ribojimai

  • Kalbėjimo eigos aptikimas vykdomas serverio pusėje ir visada įjungtas; sistemos pusės kalbėjimo eigos aptikimas (turn_detection objekte AgentSession) ignoruojamas.
  • Prasidėjus skambučiui negalima keisti instrukcijų ir įrankių.
  • Garsas abiem kryptimis yra 16 bitų vieno kanalo PCM, 24 kHz.
  • Vaizdo kadrai ignoruojami.