Open in
Naudokite ThunderPhone su LiveKit Agents
Paleiskite ThunderPhone balso agentą kaip LiveKit Agents sesijos realaus laiko (kalbos į kalbą) modelį, kartu naudodami LiveKit kambarius, SIP ir telefoniją.
LiveKit Agents yra atvirojo kodo sistema, skirta realiojo laiko balso agentams LiveKit kambariuose. ThunderPhone integruojamas kaip realaus laiko modelis: sistema siunčia dalyvio garsą, ThunderPhone grąžina agento balsą, transkripcijas ir funkcijų iškvietimus, o LiveKit kambarys, SIP magistralės ir telefonija perduoda garsą. Kalbos atpažinimas, kalbos modelis, balsas, pokalbio eiliškumas, 62 kalbos ir įrankiai veikia ThunderPhone.
Taip atlikti skambučiai rodomi skambučių istorijoje ir už juos mokama kaip už bet kurį kitą skambutį realiuoju laiku (kainodara). Nėra prenumeratos ir nenaudojamas joks ThunderPhone telefono numeris.
Įdiegimas
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyNaudojant uv, uv add "livekit-agents[thunderphone]~=1.8" įdiegiama ta pati
papildinio versija. Jis pateikiamas livekit/agents
saugykloje ir išleidžiamas kartu su pačiu livekit-agents, todėl abiejų versijos
turi sutapti. LiveKit jį dokumentuoja savo
ThunderPhone papildinio vadove.
Papildinys apgaubia LiveKit OpenAI Realtime modelį, nes ThunderPhone
Realtime WebSocket naudoja tą patį protokolą. Jam
reikia livekit-agents 1.8 arba naujesnės versijos.
Paleiskite išsaugotą agentą
Viskas, ką daro agentas (raginimas, balsas, variklis, kalbos, įrankiai, pasisveikinimas, tylos patikrinimai), sukonfigūruojama ThunderPhone. Sesija tik perduoda garsą. Sukurkite agentą valdymo skydelyje arba paprašykite Zeus (DI agento, kuris kuria, testuoja ir derina ThunderPhone agentus) jį nustatyti, tada čia perduokite jo ID. ThunderPhone įdiegiami pakeitimai bus pritaikyti kitam skambučiui nekeičiant jūsų LiveKit kodo.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))Išsaugotas agentas pasisveikina ir vykdo savo įrankius ThunderPhone;
LiveKit Agent nurodymai ir įrankiai nesiunčiami. Skambutis baigiasi, kai
ThunderPhone agentas nutraukia pokalbį, ir kartu uždaroma sesija.
Konfigūruokite sesiją tiesiogiai
Be agent_id, instrukcijos ir įrankiai gaunami iš LiveKit Agent, taip pat kaip ir naudojant OpenAI. model parenka modulį, o voice parenka ThunderPhone balsą.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstThunderPhone užfiksuoja nurodymus ir įrankius prasidėjus skambučiui, todėl
update_instructions, update_tools ir agentų perdavimai, kurie juos keičia,
skambučio metu nepalaikomi. Tiesioginės sesijos valdomos kliento: agentas kalba,
kai iškviečiate generate_reply() arba kai dalyvis užbaigia savo ėjimą.
Parinktys
| Argumentas | Reikšmė |
|---|---|
api_key | Slaptasis raktas (sk_live_...). Pagal numatytuosius nustatymus naudojamas THUNDERPHONE_API_KEY. |
agent_id | Paleidžia išsaugotą agentą. Negali būti naudojamas kartu su model ir voice. |
model | Įterptųjų seansų variklis: bolt (senesni spark ir storm vis dar priimami). |
voice | ThunderPhone balso pavadinimas įterptiesiems seansams. |
language | Pagrindinės kalbos nuoroda įterptiesiems seansams, pvz., es. |
caller_number, callee_number | Skambučio telefono numeriai, kai kambarys aptarnauja telefono liniją. Skambučių istorijoje jie rodomi kaip numeriai nuo ir kam. |
live_transcripts | Perduoda skambinančiojo transkripcijos fragmentus dar nebaigus pasakymo (apmokestinama papildomai). |
base_url | Galinio taško pakeitimas, numatytoji reikšmė wss://api.thunderphone.com/v1/realtime. |
Įvykiai
ThunderPhone prie realaus laiko protokolo prideda platformos įvykius. Seansas juos siunčia:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])Kai seansas aktyvus, RealtimeSession pateikia call_id. Naudokite jį su
GET /v1/calls/{call_id}, kad po skambučio gautumėte įrašą,
transkripciją ir įvertinimą. Visi kiti call.* įvykiai (peradresavimas,
klaviatūra, ignoruota kalba) pateikiami kaip thunderphone_call_event.
Ribojimai
- Kalbėjimo eigos aptikimas vykdomas serverio pusėje ir visada įjungtas; sistemos pusės kalbėjimo eigos aptikimas
(
turn_detectionobjekteAgentSession) ignoruojamas. - Prasidėjus skambučiui negalima keisti instrukcijų ir įrankių.
- Garsas abiem kryptimis yra 16 bitų vieno kanalo PCM, 24 kHz.
- Vaizdo kadrai ignoruojami.