Open in
Uporabite ThunderPhone z odjemalci OpenAI Realtime
Odjemalca strežnika, združljivega z OpenAI Realtime, usmerite na ThunderPhone z uporabo shranjenega agenta ali vdelane konfiguracije seje.
ThunderPhone izvaja osredotočeno podmnožico dogodkovnega modela OpenAI Realtime. Obstoječi odjemalec na strani strežnika lahko ohrani tok dogodkov WebSocket, zvoka, seje in odzivov ter uporablja glasovnega agenta ThunderPhone.
Preden se povežete
Potrebujete tajni ključ API organizacije ThunderPhone in izvajalno okolje strežnika, ki lahko odpre povezave WebSocket. Ne povezujte se iz kode brskalnika in ključa ne izpostavljajte brskalniku. Če želite uporabiti shranjenega agenta, ga najprej uvedite in kopirajte njegov številčni ID agenta.
Povežite se z:
wss://api.thunderphone.com/v1/realtimeNadgradnjo povezave WebSocket preverite z avtentikacijo iz strežnika:
Authorization: Bearer sk_live_YOUR_API_KEYPreverjanje pristnosti s poizvedbenim nizom je na voljo za odjemalce, ki ne morejo nastaviti glav med rokovanjem, vendar se URL-ji lažje razkrijejo v dnevnikih.
Izberite, kdo upravlja konfiguracijo
| Način | Izberete ga z | Vir konfiguracije |
|---|---|---|
| Shranjeni agent | session.prompt.id v prvem session.update ali ?agent_id=12 | Objavljen poziv, glas, izdelek, jeziki, znanje in združljiva orodja, ki se izvajajo v strežniku, ter navodila in spremenljivke te seje |
| Vrstično | Ničemer | Prvi sprejeti session.update iz vašega odjemalca |
Shranjeni agent
V shranjenem agentu hranite vse, kar je skupno vsem klicem, kjer so na voljo različice in preskusni nabori, v prvem session.update pa pošljite, kar se spremeni za posamezno sejo:
session.prompt.id izbere uvedenega agenta, session.instructions vsebuje povzetek te seje, session.prompt.variables pa izpolni označbe {{name}} v pozivu agenta.
{
"type": "session.update",
"session": {
"type": "realtime",
"prompt": {
"id": "12",
"variables": { "user_name": "Ada Park" }
},
"instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
"audio": {
"input": { "format": { "type": "audio/pcm", "rate": 24000 } },
"output": { "format": { "type": "audio/pcm", "rate": 24000 } }
}
}
}Navodila postanejo kontekst klica, dodan za pozivom agenta samo za ta klic. Lastne možnosti seje
(telephony, outbound, ivr_mode, call_events, placeholders) in jezik, v katerem se začne (primary_language), so v session.config, tako kot pri vdelani seji. Glas, izdelek in orodja agenta izhajajo iz njegove uvedene konfiguracije: glas, druga nastavitev agenta ali polje, ki je na voljo samo v OpenAI, kot je neprivzeta vrednost tool_choice v posodobitvi, ustvari dogodek error in se prezre, orodja, ki jih izvaja vaš odjemalec, pa so zavrnjena (orodja, ki jih izvaja odjemalec, zahtevajo vdelano sejo). prompt.version je sprejet in prezrt. Za vsa pravila glejte Uporaba shranjenega agenta.
Povezava z ?agent_id=12 namesto tega zažene agenta med povezovanjem vtičnice, zato session.update ni potreben, vendar je njegova konfiguracija seje nato nespremenljiva: navodila, spremenljivke in možnosti seje (outbound,
ivr_mode, telephony, placeholders, call_events), poslane po tem, so zavrnjene z dogodkom error. V URL dodajte
&wait_for_session_update=1, da ga namesto tega zaženete ob prvem
session.update, ki nato na enak način vsebuje navodila, spremenljivke in možnosti seje; odhodna seja to zahteva. Dokler ta posodobitev ne prispe, je zvok klicatelja zadržan, drugi dogodki so zavrnjeni, vtičnica pa se zapre, če nobena ne prispe v 10 sekundah.
Pozdrav ostane na voljo, vendar Realtime onemogoči govorne preveritve agenta ob tišini ter ponuja transfer_call in send_keypad_input samo z
call_events. Druga združljiva orodja se izvajajo v ThunderPhone; orodja, ki jih izvaja odjemalec, zahtevajo vdelano sejo. Zvočnih formatov ter navodil in spremenljivk seje po začetku klica ni mogoče spremeniti.
Seja v vrstici
Brez shranjenega agenta počakajte na session.created, nato pošljite session.update:
{
"type": "session.update",
"session": {
"type": "realtime",
"instructions": "Answer questions clearly and keep responses brief.",
"audio": {
"input": {
"format": { "type": "audio/pcm", "rate": 24000 }
},
"output": {
"format": { "type": "audio/pcm", "rate": 24000 },
"voice": "olivia"
}
},
"config": {
"product": "bolt"
}
}
}Prva sprejeta posodobitev vzpostavi klic. session.updated pomeni, da je seja aktivna. Navodil, glasu, izdelka, orodij in zvočnih formatov po tej točki ni mogoče spreminjati. Če želite ohraniti navodila nespremenjena in spreminjati le poimenovane vrednosti, vanje vpišite označbe mesta {{name}} in vrednosti pošljite v session.config.variables.
Seje v vrstici nimajo samodejnega pozdrava ali govornih preverjanj med tišino. Če želite,
da agent spregovori prvi, dodajte sistemsko ali uporabniško sporočilo in pošljite
response.create. Popolnoma nedejavna seja se še vedno konča ob omejitvi platforme za
tihe klice, ki je privzeto 600 sekund.
Uporabite uradni SDK za OpenAI
Posredujte osnovni URL za WebSocket, ki se konča z /v1; SDK doda /realtime. Vrednost
model je ime za združljivost in ne izbere izdelka ThunderPhone.
Izdelek izberite v konfiguraciji seje ali shranjenem agentu.
To preverjanje povezave ustvari vstavljeno sejo Bolt, izpisuje dogodke do prvega
session.updated in nato povezavo zapre. Za pretakanje zvoka uporabite minimalni odjemalec
Python.
import asyncio
import os
from openai import AsyncOpenAI
async def main():
client = AsyncOpenAI(
api_key=os.environ["THUNDERPHONE_API_KEY"],
websocket_base_url="wss://api.thunderphone.com/v1",
)
async with client.realtime.connect(
model="thunderphone-realtime"
) as connection:
await connection.session.update(session={
"type": "realtime",
"instructions": "Listen to the caller and help them complete the call.",
"config": {"product": "bolt"},
})
async for event in connection:
print(event.type)
if event.type == "session.updated":
break
if __name__ == "__main__":
asyncio.run(main())Ohranite obstoječe obravnavanje dodajanja vhodnega zvoka, razlik odzivnega zvoka, prekinitev, klicev funkcij, napak in čistega zapiranja vtičnice. Vstavljene funkcije po meri se izvajajo v vašem odjemalcu; njihove rezultate vrnite prek protokola Realtime. Orodja shranjenega agenta se izvajajo v ThunderPhone.
Življenjski cikel seje in napake
En WebSocket predstavlja en klic. Neveljaven ID agenta ali zavrnjena vstavljena
konfiguracija povzroči dogodek error. Preden sejo obravnavate kot aktivno, počakajte na
session.updated. Navedite dejanske vhodne in izhodne formate ter vzorčne frekvence:
neujemanje frekvence PCM predvaja zvok prehitro ali prepočasi, namesto da bi povzročilo
napako preverjanja veljavnosti.
Ko se seja začne, povezavo vtičnice urejeno zaprite, ko aplikacija zaključi delo. Vdelane seje lahko uporabljajo funkcije, ki jih izvede odjemalec. Seje s shranjenim agentom uporabljajo združljiva orodja, ki jih izvaja ThunderPhone, in ponujajo transfer_call (ter send_keypad_input v odhodnih sejah) samo z call_events; vaš odjemalec izvede te dogodke call.*.
Preizkusite integracijo
Začnite z minimalnim odjemalcem Python WAV in mono PCM16 WAV pri navedeni frekvenci. Preverite:
- Strežnik sprejme konfiguracijo in pošlje
session.updated. - Vhod ustvari dogodke prepisa in odzivnega zvoka s pričakovano hitrostjo.
- Prekinitev in preklic odziva ustavita preostali izhodni zvok.
- Rezultati vstavljenih funkcij ali orodij shranjenega agenta se vrnejo modelu.
- Neveljaven vnos ustvari dogodek
error, ki ga vaš odjemalec obravnava. - Vaš odjemalec zapre vtičnico in klic se prikaže v Zgodovini klicev.
Vodnik za Realtime WebSocket navaja sprejete dogodke, zvočne formate, polja seje in popolne primere.
Cena
Klici Realtime se zaračunavajo kot vsi drugi klici: po stroških njihovih komponent po cenikih naših ponudnikov, z dodatkom pristojbine za infrastrukturo in 17–25-% marže. Omogočanje sprotnih razlik v prepisu doda delo prepisovanja za celotno sejo; glejte Sprotni prepisi in Cene.
POST /v1/realtime/sessions je ločena upravljana pot LiveKit. Ustvari
sobo in žeton udeleženca z omejenim obsegom; ni potrebna za neposredno povezavo WebSocket.
Za integracije z ogrodji glejte Uporabite ThunderPhone iz Pipecat in Uporabite ThunderPhone iz LiveKit Agents.