ThunderPhone v3 ഇപ്പോൾ ലൈവാണ്.സ്വയം തുടങ്ങാം — 2¢/മിനിറ്റ് മുതൽ.പ്രഖ്യാപനം വായിക്കുക

Connect tools & data

OpenAI Realtime ക്ലയന്റുകളുമായി ThunderPhone ഉപയോഗിക്കുക

സേവ് ചെയ്ത ഏജന്റോ ഇൻലൈൻ സെഷൻ കോൺഫിഗറേഷനോ ഉപയോഗിച്ച് OpenAI Realtime-അനുയോജ്യമായ ഒരു സെർവർ ക്ലയന്റിനെ ThunderPhone-ലേക്ക് പോയിന്റ് ചെയ്യുക.

ThunderPhone, OpenAI Realtime ഇവന്റ് മോഡലിന്റെ കേന്ദ്രീകൃത ഉപസെറ്റ് നടപ്പിലാക്കുന്നു. നിലവിലുള്ള ഒരു സെർവർ-സൈഡ് ക്ലയന്റിന് ThunderPhone വോയ്‌സ് ഏജന്റിനൊപ്പം അതിന്റെ WebSocket, ഓഡിയോ, സെഷൻ, പ്രതികരണ ഇവന്റ് പ്രവാഹം നിലനിർത്താനാകും.

കണക്റ്റ് ചെയ്യുന്നതിന് മുമ്പ്

നിങ്ങൾക്ക് ഒരു ThunderPhone ഓർഗനൈസേഷൻ സീക്രട്ട് API കീയും WebSocket തുറക്കാൻ കഴിയുന്ന ഒരു സെർവർ റൺടൈമും ആവശ്യമാണ്. ബ്രൗസർ കോഡിൽ നിന്ന് കണക്റ്റ് ചെയ്യുകയോ കീ ഒരു ബ്രൗസറിലേക്ക് വെളിപ്പെടുത്തുകയോ ചെയ്യരുത്. സേവ് ചെയ്ത ഏജന്റ് ഉപയോഗിക്കാൻ, ആദ്യം അത് ഡിപ്ലോയ് ചെയ്ത് അതിന്റെ സംഖ്യാ ഏജന്റ് ID പകർത്തുക.

ഇതിലേക്ക് കണക്റ്റ് ചെയ്യുക:

wss://api.thunderphone.com/v1/realtime

നിങ്ങളുടെ സെർവറിൽ നിന്ന് WebSocket അപ്‌ഗ്രേഡ് ഓതന്റിക്കേറ്റ് ചെയ്യുക:

Authorization: Bearer sk_live_YOUR_API_KEY

ഹാൻഡ്‌ഷേക്ക് ഹെഡറുകൾ സജ്ജീകരിക്കാൻ കഴിയാത്ത ക്ലയന്റുകൾക്കായി ക്വറി-സ്ട്രിംഗ് ഓതന്റിക്കേഷൻ ലഭ്യമാണ്, പക്ഷേ URLs ലോഗുകളിലേക്ക് എളുപ്പത്തിൽ ചോർന്നേക്കാം.

കോൺഫിഗറേഷന്റെ ഉടമസ്ഥത തിരഞ്ഞെടുക്കുക

മോഡ്ഇത് ഉപയോഗിച്ച് തിരഞ്ഞെടുക്കുകകോൺഫിഗറേഷൻ ഉറവിടം
സംരക്ഷിച്ച ഏജന്റ്ആദ്യ session.update-ലെ session.prompt.id, അല്ലെങ്കിൽ ?agent_id=12ഡിപ്ലോയ് ചെയ്ത prompt, വോയ്‌സ്, ഉൽപ്പന്നം, ഭാഷകൾ, നോളജ്, അനുയോജ്യമായ സെർവർ-റൺ ടൂളുകൾ, കൂടാതെ ഈ സെഷന്റെ നിർദ്ദേശങ്ങളും വേരിയബിളുകളും
ഇൻലൈൻഒന്നുമില്ലനിങ്ങളുടെ ക്ലയന്റിൽ നിന്ന് ആദ്യം സ്വീകരിക്കപ്പെട്ട session.update

സേവ് ചെയ്ത ഏജന്റ്

ഓരോ കോളിലും പങ്കിടുന്ന വിവരങ്ങൾ പതിപ്പുകളും ടെസ്റ്റ് സെറ്റുകളും ഉള്ള ഒരു സംരക്ഷിച്ച ഏജന്റിൽ സൂക്ഷിക്കുക, കൂടാതെ ഓരോ സെഷനിലും മാറുന്ന വിവരങ്ങൾ ആദ്യ session.update-ൽ അയയ്ക്കുക: session.prompt.id വിന്യസിച്ച ഏജന്റിനെ തിരഞ്ഞെടുക്കുന്നു, session.instructions ഈ സെഷന്റെ സംക്ഷിപ്ത വിവരണം വഹിക്കുന്നു, കൂടാതെ session.prompt.variables ഏജന്റ് prompt-ലെ {{name}} പ്ലേസ്‌ഹോൾഡറുകൾ പൂരിപ്പിക്കുന്നു.

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "prompt": {
      "id": "12",
      "variables": { "user_name": "Ada Park" }
    },
    "instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    }
  }
}

നിർദ്ദേശങ്ങൾ കോളിന്റെ സന്ദർഭം ആകുന്നു, ഈ കോളിൽ മാത്രം ഏജന്റിന്റെ prompt-ന് ശേഷം ചേർക്കപ്പെടുന്നു. സെഷന്റെ സ്വന്തം ഓപ്ഷനുകളും (telephony, outbound, ivr_mode, call_events, placeholders) അത് ആരംഭിക്കുന്ന ഭാഷയും (primary_language) ഇൻലൈൻ സെഷനിലേതുപോലെ session.config-ൽ ഉൾപ്പെടുന്നു. ഏജന്റിന്റെ വോയ്‌സ്, ഉൽപ്പന്നം, ടൂളുകൾ എന്നിവ അതിന്റെ വിന്യസിച്ച കോൺഫിഗറേഷനിൽനിന്നാണ് വരുന്നത്: അപ്ഡേറ്റിൽ വോയ്‌സ്, മറ്റൊരു ഏജന്റ് ക്രമീകരണം, അല്ലെങ്കിൽ ഡിഫോൾട്ട് അല്ലാത്ത tool_choice പോലുള്ള OpenAI-മാത്രം ഫീൽഡ് ചേർത്താൽ error ഇവന്റ് സൃഷ്ടിക്കപ്പെടുകയും അത് അവഗണിക്കപ്പെടുകയും ചെയ്യും; കൂടാതെ നിങ്ങളുടെ ക്ലയന്റ് പ്രവർത്തിപ്പിക്കുന്ന ടൂളുകൾ നിരസിക്കപ്പെടും (ക്ലയന്റ്-നിർവഹിത ടൂളുകൾക്ക് ഇൻലൈൻ സെഷൻ ആവശ്യമാണ്). prompt.version സ്വീകരിക്കുകയും അവഗണിക്കുകയും ചെയ്യുന്നു. എല്ലാ നിയമങ്ങൾക്കും സംരക്ഷിച്ച ഏജന്റ് ഉപയോഗിക്കുക കാണുക.

പകരം ?agent_id=12 ഉപയോഗിച്ച് കണക്റ്റ് ചെയ്യുന്നത് സോക്കറ്റ് കണക്റ്റ് ചെയ്യുമ്പോൾത്തന്നെ ഏജന്റിനെ ആരംഭിക്കുന്നു, അതിനാൽ session.update ആവശ്യമില്ല, എന്നാൽ അതിന്റെ സെഷൻ കോൺഫിഗറേഷൻ പിന്നീട് സ്ഥിരമാകും: അതിനുശേഷം അയയ്ക്കുന്ന നിർദ്ദേശങ്ങൾ, വേരിയബിളുകൾ, സെഷൻ ഓപ്ഷനുകൾ (outbound, ivr_mode, telephony, placeholders, call_events) എന്നിവ error ഇവന്റോടെ നിരസിക്കപ്പെടും. പകരം നിങ്ങളുടെ ആദ്യ session.update-ൽ അത് ആരംഭിക്കാൻ URL-ലേക്ക് &wait_for_session_update=1 ചേർക്കുക; തുടർന്ന് അതിൽ നിർദ്ദേശങ്ങൾ, വേരിയബിളുകൾ, സെഷൻ ഓപ്ഷനുകൾ എന്നിവ അതേ രീതിയിൽ ഉൾപ്പെടും; ഒരു ഔട്ട്‌ബൗണ്ട് സെഷന് ഇത് ആവശ്യമാണ്. ആ അപ്ഡേറ്റ് എത്തുന്നതുവരെ, കോളർ ഓഡിയോ തടഞ്ഞുവെക്കും, മറ്റ് ഇവന്റുകൾ നിരസിക്കപ്പെടും, 10 സെക്കൻഡിനുള്ളിൽ ഒന്നും എത്തിയില്ലെങ്കിൽ സോക്കറ്റ് അടയും.

അഭിവാദ്യം ലഭ്യമായി തുടരും, എന്നാൽ Realtime ഏജന്റിന്റെ സംസാരിച്ചുള്ള നിശ്ശബ്ദത പരിശോധിക്കൽ പ്രവർത്തനരഹിതമാക്കുകയും transfer_call, send_keypad_input എന്നിവ call_events-നൊപ്പമാത്രം നൽകുകയും ചെയ്യുന്നു. മറ്റ് അനുയോജ്യമായ ടൂളുകൾ ThunderPhone-ൽ പ്രവർത്തിക്കും; ക്ലയന്റ്-നിർവഹിത ടൂളുകൾക്ക് ഇൻലൈൻ സെഷൻ ആവശ്യമാണ്. കോൾ ആരംഭിച്ചശേഷം ഓഡിയോ ഫോർമാറ്റുകളും സെഷന്റെ നിർദ്ദേശങ്ങളും വേരിയബിളുകളും മാറ്റാനാവില്ല.

ഇൻലൈൻ സെഷൻ

സംരക്ഷിച്ച ഏജന്റ് ഇല്ലെങ്കിൽ, session.created കാത്തിരുന്ന ശേഷം session.update അയയ്ക്കുക:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "instructions": "Answer questions clearly and keep responses brief.",
    "audio": {
      "input": {
        "format": { "type": "audio/pcm", "rate": 24000 }
      },
      "output": {
        "format": { "type": "audio/pcm", "rate": 24000 },
        "voice": "olivia"
      }
    },
    "config": {
      "product": "bolt"
    }
  }
}

ആദ്യമായി സ്വീകരിക്കപ്പെട്ട അപ്ഡേറ്റ് കോൾ സജ്ജമാക്കുന്നു. session.updated എന്നാൽ സെഷൻ സജീവമാണ് എന്നാണ്. അതിനുശേഷം നിർദ്ദേശങ്ങൾ, ശബ്ദം, ഉൽപ്പന്നം, ടൂളുകൾ, ഓഡിയോ ഫോർമാറ്റുകൾ എന്നിവ മാറ്റാനാകില്ല. നിർദ്ദേശങ്ങൾ സ്ഥിരമായി നിലനിർത്തി പേരിട്ട മൂല്യങ്ങൾ മാത്രം മാറ്റാൻ, അവയിൽ {{name}} പ്ലേസ്‌ഹോൾഡറുകൾ ചേർത്ത് മൂല്യങ്ങൾ session.config.variables-ൽ അയയ്ക്കുക.

ഇൻലൈൻ സെഷനുകൾക്ക് സ്വയമേവയുള്ള അഭിവാദ്യമോ സംസാരിക്കുന്ന നിശ്ശബ്ദത പരിശോധനകളോ ഇല്ല. ഏജന്റ് ആദ്യം സംസാരിക്കാൻ, ഒരു സിസ്റ്റം അല്ലെങ്കിൽ യൂസർ സന്ദേശം ചേർത്ത് response.create അയയ്ക്കുക. പൂർണമായും നിഷ്‌ക്രിയമായ ഒരു സെഷൻ പോലും പ്ലാറ്റ്‌ഫോമിന്റെ നിശ്ശബ്ദ-കോൾ പരിധിയിൽ അവസാനിക്കും, ഡിഫോൾട്ടായി 600 സെക്കൻഡ്.

ഔദ്യോഗിക OpenAI SDK ഉപയോഗിക്കുക

/v1-ൽ അവസാനിക്കുന്ന ഒരു WebSocket ബേസ് URL നൽകുക; SDK /realtime ചേർക്കും.
model മൂല്യം ഒരു അനുയോജ്യതാ നാമമാണ്, അത് ThunderPhone ഉൽപ്പന്നം തിരഞ്ഞെടുക്കില്ല. സെഷൻ കോൺഫിഗറേഷനിലോ സേവ് ചെയ്ത ഏജന്റിലോ ഉൽപ്പന്നം തിരഞ്ഞെടുക്കുക.

ഈ കണക്ഷൻ പരിശോധന ഇൻലൈൻ Bolt സെഷൻ സൃഷ്ടിക്കുകയും, ആദ്യ session.updated വരെയും ഇവന്റുകൾ പ്രിന്റ് ചെയ്യുകയും, തുടർന്ന് അടയ്ക്കുകയും ചെയ്യുന്നു. ഓഡിയോ സ്ട്രീം ചെയ്യാൻ ഏറ്റവും കുറഞ്ഞ Python ക്ലയന്റ് ഉപയോഗിക്കുക.

import asyncio
import os
 
from openai import AsyncOpenAI
 
 
async def main():
    client = AsyncOpenAI(
        api_key=os.environ["THUNDERPHONE_API_KEY"],
        websocket_base_url="wss://api.thunderphone.com/v1",
    )
 
    async with client.realtime.connect(
        model="thunderphone-realtime"
    ) as connection:
        await connection.session.update(session={
            "type": "realtime",
            "instructions": "Listen to the caller and help them complete the call.",
            "config": {"product": "bolt"},
        })
        async for event in connection:
            print(event.type)
            if event.type == "session.updated":
                break
 
 
if __name__ == "__main__":
    asyncio.run(main())

ഇൻപുട്ട്-ഓഡിയോ ചേർക്കൽ, പ്രതികരണ ഓഡിയോ ഡെൽറ്റകൾ, തടസ്സങ്ങൾ, ഫംഗ്ഷൻ കോളുകൾ, പിശകുകൾ, ശുദ്ധമായ സോക്കറ്റ് അടയ്ക്കൽ എന്നിവയ്ക്കായുള്ള നിലവിലെ കൈകാര്യം ചെയ്യൽ നിലനിർത്തുക. ഇൻലൈൻ കസ്റ്റം ഫംഗ്ഷനുകൾ നിങ്ങളുടെ ക്ലയന്റിൽ പ്രവർത്തിക്കുന്നു; അവയുടെ ഫലങ്ങൾ Realtime പ്രോട്ടോക്കോൾ വഴി മടക്കി നൽകുക. സേവ് ചെയ്ത ഏജന്റ് ടൂളുകൾ ThunderPhone-ൽ പ്രവർത്തിക്കുന്നു.

സെഷൻ ജീവിതചക്രവും പരാജയങ്ങളും

ഒരു WebSocket ഒരു കോളിനെ പ്രതിനിധീകരിക്കുന്നു. അസാധുവായ ഏജന്റ് ID അല്ലെങ്കിൽ നിരസിക്കപ്പെട്ട ഇൻലൈൻ കോൺഫിഗറേഷൻ error ഇവന്റ് സൃഷ്ടിക്കും. സെഷൻ സജീവമാണെന്ന് കണക്കാക്കുന്നതിന് മുമ്പ് session.updated കാത്തിരിക്കുക. യഥാർത്ഥ ഇൻപുട്ട്, ഔട്ട്പുട്ട് ഫോർമാറ്റുകളും സാംപിൾ നിരക്കുകളും പ്രഖ്യാപിക്കുക: PCM നിരക്കിലെ പൊരുത്തക്കേട് വാലിഡേഷൻ പിശക് സൃഷ്ടിക്കുന്നതിനുപകരം ഓഡിയോ വളരെ വേഗത്തിലോ വളരെ സാവധാനത്തിലോ പ്ലേ ചെയ്യും.

സെഷൻ ആരംഭിച്ചതിന് ശേഷം, നിങ്ങളുടെ ആപ്ലിക്കേഷന്റെ പ്രവർത്തനം പൂർത്തിയാകുമ്പോൾ സോക്കറ്റ് വൃത്തിയായി അടയ്ക്കുക. ഇൻലൈൻ സെഷനുകൾക്ക് ക്ലയന്റ് എക്സിക്യൂട്ട് ചെയ്യുന്ന ഫംഗ്ഷനുകൾ ഉപയോഗിക്കാം. സേവ് ചെയ്ത ഏജന്റ് സെഷനുകൾ അനുയോജ്യമായ ThunderPhone-പ്രവർത്തിപ്പിക്കുന്ന ടൂളുകൾ ഉപയോഗിക്കുന്നു, കൂടാതെ call_events ഉപയോഗിച്ചാൽ മാത്രമേ transfer_call (ഔട്ട്‌ബൗണ്ട് സെഷനുകളിൽ send_keypad_input ഉൾപ്പെടെ) നൽകൂ; ആ call.* ഇവന്റുകൾ നിങ്ങളുടെ ക്ലയന്റാണ് നടപ്പാക്കുന്നത്.

ഇന്റഗ്രേഷൻ പരിശോധിക്കുക

ഏറ്റവും കുറഞ്ഞ Python WAV ക്ലയന്റ് ഉപയോഗിച്ചും അതിൽ പ്രഖ്യാപിച്ച നിരക്കിലുള്ള ഒരു മോണോ PCM16 WAV ഉപയോഗിച്ചും ആരംഭിക്കുക. ഇനിപ്പറയുന്നവ സ്ഥിരീകരിക്കുക:

  1. സെർവർ കോൺഫിഗറേഷൻ സ്വീകരിച്ച് session.updated അയക്കുന്നു.
  2. പ്രതീക്ഷിച്ച വേഗതയിൽ ഇൻപുട്ട് ട്രാൻസ്ക്രിപ്റ്റും പ്രതികരണ-ഓഡിയോ ഇവന്റുകളും സൃഷ്ടിക്കുന്നു.
  3. തടസ്സവും പ്രതികരണം റദ്ദാക്കലും ശേഷിക്കുന്ന ഔട്ട്പുട്ട് ഓഡിയോ നിർത്തുന്നു.
  4. ഇൻലൈൻ ഫംഗ്ഷൻ ഫലങ്ങളോ സേവ് ചെയ്ത ഏജന്റ് ടൂൾ ഫലങ്ങളോ മോഡലിലേക്ക് മടങ്ങുന്നു.
  5. അസാധുവായ ഇൻപുട്ട് നിങ്ങളുടെ ക്ലയന്റ് കൈകാര്യം ചെയ്യുന്ന error ഇവന്റ് സൃഷ്ടിക്കുന്നു.
  6. നിങ്ങളുടെ ക്ലയന്റ് സോക്കറ്റ് അടയ്ക്കുകയും കോൾ കോൾ ചരിത്രത്തിൽ ദൃശ്യമാകുകയും ചെയ്യുന്നു.

സ്വീകരിക്കുന്ന ഇവന്റുകൾ, ഓഡിയോ ഫോർമാറ്റുകൾ, സെഷൻ ഫീൽഡുകൾ, പൂർണ്ണ ഉദാഹരണങ്ങൾ എന്നിവ Realtime WebSocket റഫറൻസിൽ പട്ടികപ്പെടുത്തിയിരിക്കുന്നു.

ചെലവ്

Realtime കോളുകൾക്ക് മറ്റേതെങ്കിലും കോളിനുള്ളതുപോലെ തന്നെയാണ് നിരക്ക്: ഞങ്ങളുടെ ദാതാക്കളുടെ ലിസ്റ്റ് വിലയിൽ അവയുടെ ഘടകങ്ങൾക്ക് വരുന്ന ചെലവും, ഇൻഫ്രാസ്ട്രക്ചർ നിരക്കും 17–25% മാർജിനും ചേർത്ത്. തത്സമയ ട്രാൻസ്ക്രിപ്റ്റ് ഡെൽറ്റകൾ പ്രവർത്തനക്ഷമമാക്കുന്നത് മുഴുവൻ സെഷനിലേക്കും ട്രാൻസ്ക്രിപ്ഷൻ ജോലിഭാരം ചേർക്കും; തത്സമയ ട്രാൻസ്ക്രിപ്റ്റുകൾ, നിരക്കുകൾ എന്നിവ കാണുക.

POST /v1/realtime/sessions ഒരു പ്രത്യേകമായി മാനേജ് ചെയ്യുന്ന LiveKit പാതയാണ്. ഇത് ഒരു റൂമും സ്കോപ്പ് ചെയ്ത പങ്കാളി ടോക്കണും സൃഷ്ടിക്കുന്നു; നേരിട്ടുള്ള WebSocket കണക്ഷന് ഇത് ആവശ്യമില്ല.

ഫ്രെയിംവർക്ക് ഇന്റഗ്രേഷനുകൾക്കായി, Pipecat-ൽ നിന്ന് ThunderPhone ഉപയോഗിക്കുക എന്നതും LiveKit Agents-ൽ നിന്ന് ThunderPhone ഉപയോഗിക്കുക എന്നതും കാണുക.