Open in
OpenAI Realtime క్లయింట్లతో ThunderPhoneను ఉపయోగించండి
సేవ్ చేసిన ఏజెంట్ లేదా ఇన్లైన్ సెషన్ కాన్ఫిగరేషన్ను ఉపయోగించి, OpenAI Realtimeకు అనుకూలమైన సర్వర్ క్లయింట్ను ThunderPhoneకు సూచించండి.
ThunderPhone, OpenAI Realtime ఈవెంట్ మోడల్లోని నిర్దిష్ట ఉపసమితిని అమలు చేస్తుంది. ఇప్పటికే ఉన్న సర్వర్-సైడ్ క్లయింట్, ThunderPhone వాయిస్ ఏజెంట్ను ఉపయోగిస్తున్నప్పటికీ తన WebSocket, ఆడియో, సెషన్, మరియు ప్రతిస్పందన ఈవెంట్ ఫ్లోను కొనసాగించవచ్చు.
కనెక్ట్ చేయడానికి ముందు
మీకు ThunderPhone సంస్థ సీక్రెట్ API కీ మరియు WebSocketలను తెరవగల సర్వర్ రన్టైమ్ అవసరం. బ్రౌజర్ కోడ్ నుండి కనెక్ట్ చేయవద్దు లేదా కీని బ్రౌజర్కు బహిర్గతం చేయవద్దు. సేవ్ చేసిన ఏజెంట్ను ఉపయోగించడానికి, ముందుగా దాన్ని డిప్లాయ్ చేసి దాని సంఖ్యా ఏజెంట్ IDని కాపీ చేయండి.
దీనికి కనెక్ట్ చేయండి:
wss://api.thunderphone.com/v1/realtimeమీ సర్వర్ నుండి WebSocket అప్గ్రేడ్ను ధృవీకరించండి:
Authorization: Bearer sk_live_YOUR_API_KEYహ్యాండ్షేక్ హెడర్లను సెట్ చేయలేని క్లయింట్ల కోసం క్వెరీ-స్ట్రింగ్ ధృవీకరణ అందుబాటులో ఉంది, కానీ URLలు లాగ్లలోకి సులభంగా లీక్ అవుతాయి.
కాన్ఫిగరేషన్ను ఎవరు నియంత్రిస్తారో ఎంచుకోండి
| మోడ్ | దీనితో ఎంచుకోండి | కాన్ఫిగరేషన్ మూలం |
|---|---|---|
| సేవ్ చేసిన ఏజెంట్ | మొదటి session.updateలోని session.prompt.id, లేదా ?agent_id=12 | డిప్లాయ్ చేసిన prompt, వాయిస్, ప్రొడక్ట్, భాషలు, నాలెడ్జ్, మరియు అనుకూలమైన సర్వర్లో నడిచే టూల్స్, అలాగే ఈ సెషన్ సూచనలు మరియు వేరియబుల్స్ |
| ఇన్లైన్ | ఏదీ కాదు | మీ క్లయింట్ నుండి అంగీకరించబడిన మొదటి session.update |
సేవ్ చేసిన ఏజెంట్
ప్రతి కాల్లో భాగస్వామ్యం అయ్యే సమాచారాన్ని వెర్షన్లు మరియు పరీక్ష సెట్లు ఉన్న సేవ్ చేసిన ఏజెంట్లో ఉంచి, ప్రతి సెషన్కు మారే సమాచారాన్ని మొదటి session.updateలో పంపండి:
session.prompt.id డిప్లాయ్ చేసిన ఏజెంట్ను ఎంచుకుంటుంది, session.instructions ఈ సెషన్ సంక్షిప్త వివరాలను కలిగి ఉంటుంది, మరియు session.prompt.variables ఏజెంట్ promptలోని
{{name}} ప్లేస్హోల్డర్లను నింపుతుంది.
{
"type": "session.update",
"session": {
"type": "realtime",
"prompt": {
"id": "12",
"variables": { "user_name": "Ada Park" }
},
"instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
"audio": {
"input": { "format": { "type": "audio/pcm", "rate": 24000 } },
"output": { "format": { "type": "audio/pcm", "rate": 24000 } }
}
}
}సూచనలు కాల్ యొక్క సందర్భంగా మారతాయి,
ఈ కాల్కు మాత్రమే ఏజెంట్ prompt తర్వాత జోడించబడతాయి. ఇన్లైన్ సెషన్కు వర్తించినట్లే, సెషన్ స్వంత ఎంపికలు
(telephony, outbound, ivr_mode, call_events, placeholders) మరియు అది ప్రారంభమయ్యే భాష
(primary_language) session.configలో ఉంటాయి. ఏజెంట్ వాయిస్, ఉత్పత్తి మరియు టూల్స్ దాని డిప్లాయ్ చేసిన కాన్ఫిగరేషన్ నుండి వస్తాయి: అప్డేట్లో వాయిస్, మరొక ఏజెంట్ సెట్టింగ్ లేదా డిఫాల్ట్ కాని tool_choice వంటి OpenAI-మాత్రమే ఫీల్డ్ ఉంటే error ఈవెంట్ ఉత్పత్తి అవుతుంది మరియు అది విస్మరించబడుతుంది; అలాగే మీ క్లయింట్ అమలు చేసే టూల్స్ తిరస్కరించబడతాయి (క్లయింట్-అమలు చేసే టూల్స్కు ఇన్లైన్ సెషన్ అవసరం). prompt.version ఆమోదించబడుతుంది మరియు విస్మరించబడుతుంది. ప్రతి నియమం కోసం సేవ్ చేసిన ఏజెంట్ను ఉపయోగించండి చూడండి.
బదులుగా ?agent_id=12తో కనెక్ట్ చేస్తే సాకెట్ కనెక్ట్ అవుతున్నప్పుడే ఏజెంట్ ప్రారంభమవుతుంది, కాబట్టి session.update అవసరం ఉండదు, కానీ దాని సెషన్ కాన్ఫిగరేషన్ స్థిరంగా ఉంటుంది: ఆ తర్వాత పంపిన సూచనలు, వేరియబుల్స్ మరియు సెషన్ ఎంపికలు (outbound,
ivr_mode, telephony, placeholders, call_events) error ఈవెంట్తో తిరస్కరించబడతాయి. బదులుగా మీ మొదటి
session.update వద్ద ప్రారంభించడానికి URLకు &wait_for_session_update=1ను జోడించండి; అప్పుడు అది ఇదే విధంగా సూచనలు, వేరియబుల్స్ మరియు సెషన్ ఎంపికలను కలిగి ఉంటుంది; అవుట్బౌండ్ సెషన్కు ఇది అవసరం. ఆ అప్డేట్ వచ్చే వరకు, కాలర్ ఆడియో నిలిపి ఉంచబడుతుంది, ఇతర ఈవెంట్లు
తిరస్కరించబడతాయి, మరియు 10 సెకన్లలో ఏదీ రాకపోతే సాకెట్ మూసివేయబడుతుంది.
గ్రీటింగ్ అందుబాటులోనే ఉంటుంది, కానీ Realtime ఏజెంట్ మాట్లాడే నిశ్శబ్ద తనిఖీలను నిలిపివేస్తుంది మరియు call_eventsతో మాత్రమే transfer_call, send_keypad_inputలను అందిస్తుంది. ఇతర అనుకూల టూల్స్ ThunderPhoneలో అమలవుతాయి; క్లయింట్-అమలు చేసే టూల్స్కు ఇన్లైన్ సెషన్ అవసరం. కాల్ ప్రారంభమైన తర్వాత ఆడియో ఫార్మాట్లు మరియు సెషన్ సూచనలు, వేరియబుల్స్ మార్చలేరు.
ఇన్లైన్ సెషన్
సేవ్ చేసిన ఏజెంట్ లేకుండా, session.created కోసం వేచి ఉండి, తర్వాత session.update పంపండి:
{
"type": "session.update",
"session": {
"type": "realtime",
"instructions": "Answer questions clearly and keep responses brief.",
"audio": {
"input": {
"format": { "type": "audio/pcm", "rate": 24000 }
},
"output": {
"format": { "type": "audio/pcm", "rate": 24000 },
"voice": "olivia"
}
},
"config": {
"product": "bolt"
}
}
}మొదట ఆమోదించబడిన అప్డేట్ కాల్ను ప్రొవిజన్ చేస్తుంది. session.updated అంటే సెషన్ లైవ్లో ఉందని అర్థం. ఆ తర్వాత సూచనలు, వాయిస్, ఉత్పత్తి, టూల్స్ మరియు ఆడియో ఫార్మాట్లను మార్చలేరు. సూచనలను స్థిరంగా ఉంచి, పేరుతో ఉన్న విలువలను మాత్రమే మార్చడానికి, వాటిలో {{name}} ప్లేస్హోల్డర్లను వ్రాసి, విలువలను session.config.variablesలో పంపండి.
ఇన్లైన్ సెషన్లకు స్వయంచాలక అభివాదం లేదా మౌఖిక నిశ్శబ్ద చెక్-ఇన్లు ఉండవు. ఏజెంట్ ముందుగా మాట్లాడేలా చేయడానికి,
సిస్టమ్ లేదా వినియోగదారు సందేశాన్ని జోడించి response.createను పంపండి. పూర్తిగా నిష్క్రియమైన సెషన్ కూడా ప్లాట్ఫారమ్
నిశ్శబ్ద-కాల్ పరిమితి వద్ద ముగుస్తుంది; డిఫాల్ట్గా అది 600 సెకన్లు.
అధికారిక OpenAI SDKని ఉపయోగించండి
/v1తో ముగిసే WebSocket బేస్ URLను పంపండి; SDK /realtimeను జోడిస్తుంది. model విలువ అనుకూలత పేరు మాత్రమే మరియు ThunderPhone ఉత్పత్తిని ఎంచుకోదు. సెషన్ కాన్ఫిగరేషన్లో లేదా సేవ్ చేసిన ఏజెంట్లో ఉత్పత్తిని ఎంచుకోండి.
ఈ కనెక్షన్ తనిఖీ ఇన్లైన్ Bolt సెషన్ను సృష్టించి, మొదటి session.updated వరకు ఈవెంట్లను ముద్రించి, ఆపై మూసివేస్తుంది. ఆడియోను స్ట్రీమ్ చేయడానికి కనీస Python క్లయింట్ను ఉపయోగించండి.
import asyncio
import os
from openai import AsyncOpenAI
async def main():
client = AsyncOpenAI(
api_key=os.environ["THUNDERPHONE_API_KEY"],
websocket_base_url="wss://api.thunderphone.com/v1",
)
async with client.realtime.connect(
model="thunderphone-realtime"
) as connection:
await connection.session.update(session={
"type": "realtime",
"instructions": "Listen to the caller and help them complete the call.",
"config": {"product": "bolt"},
})
async for event in connection:
print(event.type)
if event.type == "session.updated":
break
if __name__ == "__main__":
asyncio.run(main())ఇన్పుట్-ఆడియో జోడింపు, ప్రతిస్పందన ఆడియో డెల్టాలు, అంతరాయాలు, ఫంక్షన్ కాల్లు, లోపాలు మరియు సక్రమమైన సాకెట్ మూసివేత కోసం మీ ప్రస్తుత నిర్వహణను కొనసాగించండి. ఇన్లైన్ కస్టమ్ ఫంక్షన్లు మీ క్లయింట్లో అమలవుతాయి; వాటి ఫలితాలను Realtime ప్రోటోకాల్ ద్వారా తిరిగి పంపండి. సేవ్ చేసిన ఏజెంట్ టూల్లు ThunderPhoneలో అమలవుతాయి.
సెషన్ జీవితచక్రం మరియు వైఫల్యాలు
ఒక WebSocket ఒక కాల్ను సూచిస్తుంది. చెల్లని ఏజెంట్ ID లేదా తిరస్కరించబడిన ఇన్లైన్ కాన్ఫిగరేషన్ error ఈవెంట్ను ఉత్పత్తి చేస్తుంది. సెషన్ను సక్రియంగా పరిగణించే ముందు session.updated కోసం వేచి ఉండండి. వాస్తవ ఇన్పుట్ మరియు అవుట్పుట్ ఫార్మాట్లు, అలాగే నమూనా రేట్లను పేర్కొనండి: PCM రేటు అసమతుల్యత ధ్రువీకరణ లోపాన్ని ఉత్పత్తి చేయకుండా ఆడియోను చాలా వేగంగా లేదా చాలా నెమ్మదిగా ప్లే చేస్తుంది.
సెషన్ ప్రారంభమైన తర్వాత, మీ అప్లికేషన్ పని పూర్తయినప్పుడు సాకెట్ను సక్రమంగా మూసివేయండి. ఇన్లైన్ సెషన్లు క్లయింట్ అమలు చేసే ఫంక్షన్లను ఉపయోగించవచ్చు. సేవ్ చేసిన ఏజెంట్ సెషన్లు అనుకూలమైన ThunderPhone-నిర్వహించే టూల్లను ఉపయోగిస్తాయి మరియు call_eventsతో మాత్రమే transfer_callను అందిస్తాయి (అవుట్బౌండ్ సెషన్లలో send_keypad_input కూడా); ఆ call.* ఈవెంట్లను మీ క్లయింట్ అమలు చేస్తుంది.
ఇంటిగ్రేషన్ను పరీక్షించండి
కనీస Python WAV క్లయింట్తో మరియు అది పేర్కొన్న రేటులోని మోనో PCM16 WAVతో ప్రారంభించండి. వీటిని ధ్రువీకరించండి:
- సర్వర్ కాన్ఫిగరేషన్ను అంగీకరించి
session.updatedను పంపుతుంది. - ఇన్పుట్ ఆశించిన వేగంతో ట్రాన్స్క్రిప్ట్ మరియు ప్రతిస్పందన-ఆడియో ఈవెంట్లను ఉత్పత్తి చేస్తుంది.
- అంతరాయం మరియు ప్రతిస్పందన రద్దు మిగిలిన అవుట్పుట్ ఆడియోను నిలిపివేస్తాయి.
- ఇన్లైన్ ఫంక్షన్ ఫలితాలు లేదా సేవ్ చేసిన ఏజెంట్ టూల్ ఫలితాలు మోడల్కు తిరిగి చేరుతాయి.
- చెల్లని ఇన్పుట్ మీ క్లయింట్ నిర్వహించే
errorఈవెంట్ను ఉత్పత్తి చేస్తుంది. - మీ క్లయింట్ సాకెట్ను మూసివేస్తుంది మరియు కాల్ కాల్ చరిత్రలో కనిపిస్తుంది.
Realtime WebSocket రిఫరెన్స్ ఆమోదించబడిన ఈవెంట్లు, ఆడియో ఫార్మాట్లు, సెషన్ ఫీల్డ్లు మరియు పూర్తి ఉదాహరణలను జాబితా చేస్తుంది.
ఖర్చు
రియల్టైమ్ కాల్ల ధర ఇతర కాల్ల మాదిరిగానే ఉంటుంది: మా ప్రొవైడర్ల జాబితా ధరల ప్రకారం వాటి భాగాల ఖర్చు, దానికి మౌలిక సదుపాయాల ఛార్జీ మరియు 17–25% మార్జిన్ కలిపి. లైవ్ ట్రాన్స్క్రిప్ట్ మార్పులను ప్రారంభించడం వల్ల మొత్తం సెషన్కు ట్రాన్స్క్రిప్షన్ పని జోడించబడుతుంది; లైవ్ ట్రాన్స్క్రిప్ట్లు మరియు ధరలు చూడండి.
POST /v1/realtime/sessions అనేది వేరొక నిర్వహిత LiveKit మార్గం. ఇది ఒక గదిని మరియు పరిమిత భాగస్వామి టోకెన్ను సృష్టిస్తుంది; ప్రత్యక్ష WebSocket కనెక్షన్కు ఇది అవసరం లేదు.
ఫ్రేమ్వర్క్ ఇంటిగ్రేషన్ల కోసం, Pipecat నుండి ThunderPhoneను ఉపయోగించండి మరియు LiveKit Agents నుండి ThunderPhoneను ఉపయోగించండి చూడండి.