ThunderPhone v3 आता लाइव्ह आहे.स्वतःच सुरू करा—2¢/मिनिटपासून.घोषणा वाचा

Connect tools & data

ThunderPhone सोबत OpenAI Realtime क्लायंट वापरा

जतन केलेला एजंट किंवा इनलाइन सत्र कॉन्फिगरेशन वापरून, OpenAI Realtime-सुसंगत सर्व्हर क्लायंट ThunderPhone कडे निर्देशित करा.

ThunderPhone OpenAI Realtime इव्हेंट मॉडेलचा निवडक उपसंच लागू करते. विद्यमान सर्व्हर-साइड क्लायंट त्याचा WebSocket, ऑडिओ, सेशन आणि रिस्पॉन्स इव्हेंट प्रवाह कायम ठेवून ThunderPhone व्हॉइस एजंट वापरू शकतो.

कनेक्ट करण्यापूर्वी

तुम्हाला ThunderPhone संस्थेची गुप्त API की आणि WebSockets उघडू शकणारा सर्व्हर रनटाइम आवश्यक आहे. ब्राउझर कोडमधून कनेक्ट करू नका किंवा ब्राउझरला की उघड करू नका. जतन केलेला एजंट वापरण्यासाठी, प्रथम तो डिप्लॉय करा आणि त्याचा संख्यात्मक एजंट ID कॉपी करा.

याशी कनेक्ट करा:

wss://api.thunderphone.com/v1/realtime

तुमच्या सर्व्हरवरून WebSocket अपग्रेडचे प्रमाणीकरण करा:

Authorization: Bearer sk_live_YOUR_API_KEY

हँडशेक हेडर्स सेट करू न शकणाऱ्या क्लायंटसाठी क्वेरी-स्ट्रिंग प्रमाणीकरण उपलब्ध आहे, परंतु URLs लॉगमध्ये सहज लीक होऊ शकतात.

कॉन्फिगरेशनचे नियंत्रण कोणाकडे आहे ते निवडा

मोडयासह निवडाकॉन्फिगरेशनचा स्रोत
जतन केलेला एजंटपहिल्या session.update मधील session.prompt.id, किंवा ?agent_id=12डिप्लॉय केलेला prompt, आवाज, उत्पादन, भाषा, ज्ञान आणि सुसंगत सर्व्हरवर चालणारी साधने, तसेच या सत्राच्या सूचना आणि चल
इनलाइनकोणतेही नाहीतुमच्या क्लायंटकडून स्वीकारलेला पहिला session.update

जतन केलेला एजंट

प्रत्येक कॉलमध्ये समान असलेली माहिती आवृत्त्या आणि चाचणी संच असलेल्या जतन केलेल्या एजंटमध्ये ठेवा आणि प्रत्येक सेशननुसार बदलणारी माहिती पहिल्या session.update मध्ये पाठवा: session.prompt.id डिप्लॉय केलेला एजंट निवडते, session.instructions या सेशनची संक्षिप्त माहिती ठेवते आणि session.prompt.variables एजंट prompt मधील {{name}} प्लेसहोल्डर भरते.

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "prompt": {
      "id": "12",
      "variables": { "user_name": "Ada Park" }
    },
    "instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    }
  }
}

सूचना कॉलचा संदर्भ बनतात आणि त्या फक्त या कॉलसाठी एजंटच्या prompt नंतर जोडल्या जातात. सेशनचे स्वतःचे पर्याय (telephony, outbound, ivr_mode, call_events, placeholders) आणि ते ज्या भाषेत सुरू होते ती भाषा (primary_language) इनलाइन सेशनप्रमाणे session.config मध्ये असतात. एजंटचा व्हॉइस, प्रॉडक्ट आणि टूल्स त्याच्या डिप्लॉय केलेल्या कॉन्फिगरेशनमधून येतात: अपडेटमधील व्हॉइस, एजंटची दुसरी सेटिंग किंवा डीफॉल्ट नसलेल्या tool_choice सारखे केवळ OpenAI साठीचे फील्ड error इव्हेंट तयार करते आणि दुर्लक्षित केले जाते, तसेच तुमच्या क्लायंटद्वारे चालवली जाणारी टूल्स नाकारली जातात (क्लायंटद्वारे चालवल्या जाणाऱ्या टूल्ससाठी इनलाइन सेशन आवश्यक आहे). prompt.version स्वीकारले जाते आणि दुर्लक्षित केले जाते. सर्व नियमांसाठी जतन केलेला एजंट वापरा पहा.

त्याऐवजी ?agent_id=12 सह कनेक्ट केल्यास सॉकेट कनेक्ट होत असतानाच एजंट सुरू होतो, त्यामुळे session.update आवश्यक नसते, परंतु त्यानंतरचे सेशन कॉन्फिगरेशन निश्चित होते: त्यानंतर पाठवलेल्या सूचना, व्हेरिएबल्स आणि सेशन पर्यायांना (outbound, ivr_mode, telephony, placeholders, call_events) error इव्हेंटसह नकार दिला जातो. त्याऐवजी तुमच्या पहिल्या session.update वेळी ते सुरू करण्यासाठी URL मध्ये &wait_for_session_update=1 जोडा; त्यातही सूचना, व्हेरिएबल्स आणि सेशन पर्याय त्याच प्रकारे दिले जातात; आउटबाउंड सेशनसाठी हे आवश्यक आहे. तो अपडेट येईपर्यंत कॉलरचा ऑडिओ रोखून ठेवला जातो, इतर इव्हेंट नाकारले जातात आणि 10 सेकंदांत तो न आल्यास सॉकेट बंद होते.

अभिवादन उपलब्ध राहते, परंतु Realtime एजंटचे बोलून केलेले शांतता-तपासणी संदेश निष्क्रिय करते आणि transfer_call व send_keypad_input फक्त call_events सह उपलब्ध करून देते. इतर सुसंगत टूल्स ThunderPhone वर चालतात; क्लायंटद्वारे चालवल्या जाणाऱ्या टूल्ससाठी इनलाइन सेशन आवश्यक आहे. कॉल सुरू झाल्यानंतर ऑडिओ फॉरमॅट आणि सेशनच्या सूचना व व्हेरिएबल्स बदलता येत नाहीत.

इनलाइन सेशन

जतन केलेला एजंट नसल्यास, session.created ची प्रतीक्षा करा, नंतर session.update पाठवा:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "instructions": "Answer questions clearly and keep responses brief.",
    "audio": {
      "input": {
        "format": { "type": "audio/pcm", "rate": 24000 }
      },
      "output": {
        "format": { "type": "audio/pcm", "rate": 24000 },
        "voice": "olivia"
      }
    },
    "config": {
      "product": "bolt"
    }
  }
}

पहिले स्वीकारलेले अपडेट कॉल प्रोव्हिजन करते. session.updated म्हणजे सेशन सक्रिय आहे. त्यानंतर सूचना, आवाज, उत्पादन, साधने आणि ऑडिओ फॉरमॅट बदलता येत नाहीत. सूचना स्थिर ठेवण्यासाठी आणि फक्त नामांकित मूल्ये बदलण्यासाठी, त्यात {{name}} प्लेसहोल्डर लिहा आणि मूल्ये session.config.variables मध्ये पाठवा.

इनलाइन सेशनमध्ये स्वयंचलित अभिवादन किंवा बोलून केल्या जाणाऱ्या शांतता तपासण्या नसतात. एजंटने प्रथम बोलावे यासाठी, सिस्टम किंवा वापरकर्ता संदेश जोडा आणि response.create पाठवा. पूर्णपणे निष्क्रिय सेशन तरीही प्लॅटफॉर्मच्या मूक-कॉल मर्यादेवर संपते, जी डीफॉल्टनुसार 600 सेकंद आहे.

अधिकृत OpenAI SDK वापरा

/v1 ने समाप्त होणारा WebSocket बेस URL द्या; SDK त्यात /realtime जोडते.
model मूल्य हे सुसंगततेचे नाव आहे आणि ThunderPhone उत्पादन निवडत नाही. सत्र कॉन्फिगरेशनमध्ये किंवा जतन केलेल्या एजंटमध्ये उत्पादन निवडा.

ही कनेक्शन तपासणी इनलाइन Bolt सत्र तयार करते, पहिल्या session.updated पर्यंत इव्हेंट प्रिंट करते आणि बंद होते. ऑडिओ स्ट्रीम करण्यासाठी किमान Python क्लायंट वापरा.

import asyncio
import os
 
from openai import AsyncOpenAI
 
 
async def main():
    client = AsyncOpenAI(
        api_key=os.environ["THUNDERPHONE_API_KEY"],
        websocket_base_url="wss://api.thunderphone.com/v1",
    )
 
    async with client.realtime.connect(
        model="thunderphone-realtime"
    ) as connection:
        await connection.session.update(session={
            "type": "realtime",
            "instructions": "Listen to the caller and help them complete the call.",
            "config": {"product": "bolt"},
        })
        async for event in connection:
            print(event.type)
            if event.type == "session.updated":
                break
 
 
if __name__ == "__main__":
    asyncio.run(main())

इनपुट-ऑडिओ अॅपेंड, प्रतिसाद ऑडिओ डेल्टा, व्यत्यय, फंक्शन कॉल, त्रुटी आणि सॉकेट नीट बंद करण्यासाठी तुमची विद्यमान हाताळणी कायम ठेवा. इनलाइन सानुकूल फंक्शन्स तुमच्या क्लायंटमध्ये चालतात; त्यांचे निकाल Realtime प्रोटोकॉलद्वारे परत करा. जतन केलेल्या एजंटची साधने ThunderPhone वर चालतात.

सत्र जीवनचक्र आणि अयशस्वीता

एक WebSocket एका कॉलचे प्रतिनिधित्व करते. अवैध एजंट ID किंवा नाकारलेले इनलाइन कॉन्फिगरेशन error इव्हेंट निर्माण करते. सत्र सक्रिय मानण्यापूर्वी session.updated ची वाट पाहा. प्रत्यक्ष इनपुट आणि आउटपुट स्वरूप तसेच सॅम्पल दर घोषित करा: PCM दर जुळत नसल्यास वैधता त्रुटी निर्माण होण्याऐवजी ऑडिओ खूप वेगाने किंवा खूप हळू वाजतो.

सेशन सुरू झाल्यानंतर, तुमचे अॅप्लिकेशन पूर्ण झाल्यावर सॉकेट व्यवस्थित बंद करा. इनलाइन सेशन क्लायंटद्वारे कार्यान्वित फंक्शन्स वापरू शकतात. जतन केलेल्या एजंट सेशनमध्ये सुसंगत ThunderPhone-द्वारे चालवली जाणारी साधने वापरली जातात आणि call_events सहच transfer_call (आउटबाउंड सेशनमध्ये send_keypad_input सहित) उपलब्ध असते; तुमचा क्लायंट ते call.* इव्हेंट्स कार्यान्वित करतो.

इंटिग्रेशनची चाचणी करा

किमान Python WAV क्लायंट आणि त्याने घोषित केलेल्या दरातील मोनो PCM16 WAV पासून सुरुवात करा. खालील गोष्टी तपासा:

  1. सर्व्हर कॉन्फिगरेशन स्वीकारतो आणि session.updated पाठवतो.
  2. अपेक्षित वेगाने इनपुटमुळे ट्रान्स्क्रिप्ट आणि प्रतिसाद-ऑडिओ इव्हेंट निर्माण होतात.
  3. व्यत्यय आणि प्रतिसाद रद्द केल्याने उर्वरित आउटपुट ऑडिओ थांबतो.
  4. इनलाइन फंक्शनचे निकाल किंवा जतन केलेल्या एजंटच्या साधनांचे निकाल मॉडेलकडे परत जातात.
  5. अवैध इनपुटमुळे तुमचा क्लायंट हाताळू शकणारा error इव्हेंट निर्माण होतो.
  6. तुमचा क्लायंट सॉकेट बंद करतो आणि कॉल कॉल इतिहासात दिसतो.

Realtime WebSocket संदर्भ स्वीकारलेले इव्हेंट, ऑडिओ स्वरूप, सत्र फील्ड आणि संपूर्ण उदाहरणे सूचीबद्ध करतो.

किंमत

Realtime कॉलचे दर इतर कोणत्याही कॉलप्रमाणे आहेत: आमच्या प्रदात्यांच्या सूची किमतींनुसार त्यांच्या घटकांचा खर्च, तसेच पायाभूत सुविधा शुल्क आणि 17–25% मार्जिन. लाइव्ह ट्रान्स्क्रिप्ट डेल्टा सक्षम केल्याने संपूर्ण सत्रासाठी ट्रान्स्क्रिप्शनचे काम वाढते; लाइव्ह ट्रान्स्क्रिप्ट्स आणि किंमतनिर्धारण पहा.

POST /v1/realtime/sessions हा स्वतंत्र व्यवस्थापित LiveKit मार्ग आहे. तो रूम आणि मर्यादित व्याप्तीचा सहभागी टोकन तयार करतो; थेट WebSocket कनेक्शनसाठी त्याची आवश्यकता नाही.

फ्रेमवर्क इंटिग्रेशनसाठी, Pipecat मधून ThunderPhone वापरा आणि LiveKit Agents मधून ThunderPhone वापरा पहा.