Open in
Naudokite ThunderPhone su OpenAI Realtime klientais
Nukreipkite su OpenAI Realtime suderinamą serverio klientą į ThunderPhone, naudodami išsaugotą agentą arba įterptinę sesijos konfigūraciją.
ThunderPhone įgyvendina tikslinį OpenAI Realtime įvykių modelio poaibį. Esamas serverio pusės klientas gali išlaikyti savo WebSocket, garso, sesijos ir atsako įvykių srautą naudodamas ThunderPhone balso agentą.
Prieš prisijungdami
Jums reikia ThunderPhone organizacijos slaptojo API rakto ir serverio vykdymo aplinkos, galinčios atidaryti WebSocket ryšius. Nejunkite iš naršyklės kodo ir neatskleiskite rakto naršyklei. Norėdami naudoti išsaugotą agentą, pirmiausia jį įdiekite ir nukopijuokite jo skaitinį agento ID.
Prisijunkite prie:
wss://api.thunderphone.com/v1/realtimeAutentifikuokite WebSocket atnaujinimą iš savo serverio:
Authorization: Bearer sk_live_YOUR_API_KEYUžklausos eilutės autentifikavimas galimas klientams, kurie negali nustatyti prisijungimo antraščių, tačiau URL lengviau patenka į žurnalus.
Pasirinkite, kam priklauso konfigūracija
| Režimas | Pasirinkite naudodami | Konfigūracijos šaltinis |
|---|---|---|
| Išsaugotas agentas | session.prompt.id pirmame session.update arba ?agent_id=12 | Įdiegta užklausa, balsas, produktas, kalbos, žinios ir suderinami serveryje vykdomi įrankiai, taip pat šios sesijos instrukcijos ir kintamieji |
| Įterptasis | Nė vienas | Pirmas iš jūsų kliento priimtas session.update |
Išsaugotas agentas
Išsaugotame agente laikykite tai, kas bendra kiekvienam skambučiui, kuriame yra versijos ir testų
rinkiniai, o tai, kas keičiasi kiekvienoje sesijoje, siųskite pirmame session.update:
session.prompt.id parenka paskelbtą agentą, session.instructions pateikia
šios sesijos trumpą aprašą, o session.prompt.variables užpildo agento raginimo
{{name}} vietos rezervavimo ženklus.
{
"type": "session.update",
"session": {
"type": "realtime",
"prompt": {
"id": "12",
"variables": { "user_name": "Ada Park" }
},
"instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
"audio": {
"input": { "format": { "type": "audio/pcm", "rate": 24000 } },
"output": { "format": { "type": "audio/pcm", "rate": 24000 } }
}
}
}Nurodymai tampa skambučio kontekstu,
pridedamu po agento raginimo tik šiam skambučiui. Pačios sesijos parinktys
(telephony, outbound, ivr_mode, call_events, placeholders) ir kalba,
kuria ji pradedama (primary_language), įrašomos į session.config, kaip ir
įterptinėje sesijoje. Agento balsas, produktas ir įrankiai gaunami iš jo
paskelbtos konfigūracijos: balsas, kita agento nuostata arba tik OpenAI skirtas laukas,
pvz., ne numatytoji tool_choice reikšmė atnaujinime, sukuria error įvykį ir yra
nepaisomi, o įrankiai, kuriuos vykdo jūsų klientas, atmetami (kliento vykdomiems
įrankiams reikia įterptinės sesijos). prompt.version priimamas ir ignoruojamas. Visas taisykles rasite Naudokite išsaugotą
agentą.
Prisijungus su ?agent_id=12, agentas paleidžiamas jungiantis lizdui, todėl
session.update nereikalingas, tačiau jo sesijos konfigūracija tada yra fiksuota:
vėliau siunčiami nurodymai, kintamieji ir sesijos parinktys (outbound,
ivr_mode, telephony, placeholders, call_events) atmetami su error
įvykiu. Pridėkite
&wait_for_session_update=1 prie URL, kad agentas būtų paleistas per pirmąjį
session.update, kuriame taip pat perduodami nurodymai, kintamieji ir
sesijos parinktys; siunčiamajai sesijai to reikia. Kol šis atnaujinimas negaunamas, skambintojo garsas sulaikomas, kiti įvykiai
atmetami, o jei jis negaunamas per 10 sekundžių, lizdas uždaromas.
Pasisveikinimas lieka pasiekiamas, tačiau Realtime išjungia agento žodinius
tylos patikrinimus ir siūlo transfer_call bei send_keypad_input tik su
call_events. Kiti suderinami įrankiai vykdomi ThunderPhone; kliento vykdomiems
įrankiams reikia įterptinės sesijos. Garso formatai ir sesijos nurodymai bei kintamieji negali
keistis prasidėjus skambučiui.
Įterptinė sesija
Be išsaugoto agento palaukite session.created, tada išsiųskite session.update:
{
"type": "session.update",
"session": {
"type": "realtime",
"instructions": "Answer questions clearly and keep responses brief.",
"audio": {
"input": {
"format": { "type": "audio/pcm", "rate": 24000 }
},
"output": {
"format": { "type": "audio/pcm", "rate": 24000 },
"voice": "olivia"
}
},
"config": {
"product": "bolt"
}
}
}Pirmasis priimtas atnaujinimas paruošia skambutį. session.updated reiškia, kad
sesija aktyvi. Po šio momento negalima keisti instrukcijų, balso, produkto,
įrankių ir garso formatų. Norėdami išlaikyti instrukcijas nekintamas ir keisti
tik įvardytas reikšmes, į jas įrašykite vietos rezervavimo ženklus {{name}} ir
išsiųskite reikšmes per session.config.variables.
Įterptinės sesijos neturi automatinio pasisveikinimo ar sakytinių tylos patikrinimų. Kad
agentas pradėtų kalbėti pirmas, pridėkite sistemos arba naudotojo pranešimą ir siųskite
response.create. Visiškai neaktyvi sesija vis tiek baigiasi pasiekus platformos
tylaus skambučio ribą, kuri pagal numatytuosius nustatymus yra 600 sekundžių.
Naudokite oficialų OpenAI SDK
Nurodykite WebSocket bazinį URL, kuris baigiasi /v1; SDK prideda /realtime.
model reikšmė yra suderinamumo pavadinimas ir nepasirenka ThunderPhone
produkto. Produktą pasirinkite sesijos konfigūracijoje arba išsaugotame agente.
Ši ryšio patikra sukuria įterptinę Bolt sesiją, išveda įvykius iki pirmojo
session.updated ir užsidaro. Garsui transliuoti naudokite minimalų Python
klientą.
import asyncio
import os
from openai import AsyncOpenAI
async def main():
client = AsyncOpenAI(
api_key=os.environ["THUNDERPHONE_API_KEY"],
websocket_base_url="wss://api.thunderphone.com/v1",
)
async with client.realtime.connect(
model="thunderphone-realtime"
) as connection:
await connection.session.update(session={
"type": "realtime",
"instructions": "Listen to the caller and help them complete the call.",
"config": {"product": "bolt"},
})
async for event in connection:
print(event.type)
if event.type == "session.updated":
break
if __name__ == "__main__":
asyncio.run(main())Išlaikykite esamą įvesties garso pridėjimo, atsako garso deltų, pertraukimų, funkcijų iškvietimų, klaidų ir tvarkingo lizdo uždarymo apdorojimą. Įterptinės pasirinktinės funkcijos vykdomos jūsų kliente; jų rezultatus grąžinkite per Realtime protokolą. Išsaugoto agente įrankiai vykdomi ThunderPhone.
Sesijos gyvavimo ciklas ir gedimai
Vienas WebSocket reiškia vieną skambutį. Netinkamas agento ID arba atmesta įterptinė
konfigūracija sukuria error įvykį. Prieš laikydami sesiją aktyvia, palaukite
session.updated. Nurodykite faktinius įvesties ir išvesties formatus bei
diskretizavimo dažnius: dėl PCM dažnio neatitikties garsas atkuriamas per greitai arba per lėtai,
užuot sukėlus patvirtinimo klaidą.
Prasidėjus sesijai, kai programa baigia darbą, tvarkingai uždarykite lizdą. Įterptinės sesijos gali naudoti kliento vykdomas funkcijas. Išsaugoto agento sesijos naudoja suderinamus ThunderPhone vykdomus įrankius ir siūlo transfer_call (bei send_keypad_input siunčiamose sesijose) tik su call_events; jūsų klientas vykdo tuos call.* įvykius.
Išbandykite integraciją
Pradėkite nuo minimalaus Python WAV kliento ir mono PCM16 WAV failo jo nurodytu dažniu. Patikrinkite:
- Serveris priima konfigūraciją ir siunčia
session.updated. - Įvestis sukuria transkripto ir atsako garso įvykius numatytu greičiu.
- Pertraukimas ir atsako atšaukimas sustabdo likusį išvesties garsą.
- Įterptinių funkcijų rezultatai arba išsaugoto agento įrankių rezultatai grąžinami modeliui.
- Netinkama įvestis sukuria
errorįvykį, kurį apdoroja jūsų klientas. - Jūsų klientas uždaro lizdą, o skambutis rodomas Skambučių istorijoje.
Realtime WebSocket nuorodoje pateikiami priimami įvykiai, garso formatai, sesijos laukai ir išsamūs pavyzdžiai.
Kaina
Realtime skambučių kaina apskaičiuojama kaip ir bet kurio kito skambučio: pagal jų sudedamųjų dalių kainą mūsų teikėjų kataloginėmis kainomis, pridėjus infrastruktūros mokestį ir 17–25 % maržą. Įjungus tiesioginės transkripcijos pakeitimus, transkribavimo darbai atliekami per visą sesiją; žr. Tiesioginės transkripcijos ir Kainodara.
POST /v1/realtime/sessions yra atskiras valdomas LiveKit kelias. Jis sukuria
kambarį ir dalyvio prieigos raktą su nustatyta aprėptimi; jis nereikalingas tiesioginiam WebSocket
ryšiui.
Karkasų integracijoms žr. Naudokite ThunderPhone su Pipecat ir Naudokite ThunderPhone su LiveKit Agents.