ThunderPhone v3 இப்போது கிடைக்கிறது.நீங்களே தொடங்கலாம்; நிமிடத்திற்கு 2¢ முதல்.அறிவிப்பைப் படிக்கவும்

Connect tools & data

OpenAI Realtime கிளையண்டுகளுடன் ThunderPhone ஐப் பயன்படுத்துங்கள்

சேமித்த ஏஜென்ட் அல்லது inline session கட்டமைப்பைப் பயன்படுத்தி, OpenAI Realtime-இணக்கமான சர்வர் கிளையண்டை ThunderPhone நோக்கி அமைக்கவும்.

ThunderPhone, OpenAI Realtime நிகழ்வு மாதிரியின் கவனம் செலுத்தப்பட்ட துணைக்குழுவை செயல்படுத்துகிறது. ஏற்கனவே உள்ள சர்வர்-பக்க கிளையண்ட், ThunderPhone குரல் ஏஜென்ட்டைப் பயன்படுத்தும்போது அதன் WebSocket, ஆடியோ, அமர்வு மற்றும் பதில் நிகழ்வு ஓட்டத்தைத் தொடரலாம்.

இணைப்பதற்கு முன்

உங்களுக்கு ThunderPhone அமைப்பு ரகசிய API விசையும் WebSocket-களைத் திறக்கக்கூடிய சர்வர் இயக்கநேரமும் தேவை. உலாவி குறியீட்டிலிருந்து இணைக்காதீர்கள் அல்லது விசையை உலாவிக்கு வெளிப்படுத்தாதீர்கள். சேமிக்கப்பட்ட ஏஜென்ட்டைப் பயன்படுத்த, முதலில் அதை டிப்ளாய் செய்து அதன் எண் ஏஜென்ட் ID-ஐ நகலெடுக்கவும்.

இணைக்க வேண்டிய முகவரி:

wss://api.thunderphone.com/v1/realtime

உங்கள் சர்வரிலிருந்து WebSocket மேம்படுத்தலை அங்கீகரிக்கவும்:

Authorization: Bearer sk_live_YOUR_API_KEY

ஹேண்ட்ஷேக் தலைப்புகளை அமைக்க முடியாத கிளையண்ட்களுக்குக் கேள்விச் சரம் அங்கீகாரம் உள்ளது, ஆனால் URL-கள் பதிவுகளில் கசிய எளிதானவை.

உள்ளமைவின் உரிமையாளர் யார் என்பதைத் தேர்ந்தெடுக்கவும்

பயன்முறைஇதன் மூலம் தேர்ந்தெடுக்கவும்உள்ளமைவு மூலம்
சேமிக்கப்பட்ட ஏஜென்ட்முதல் session.update-இல் session.prompt.id, அல்லது ?agent_id=12வெளியிடப்பட்ட prompt, குரல், தயாரிப்பு, மொழிகள், அறிவுத் தளம் மற்றும் இணக்கமான சர்வர் இயக்கும் கருவிகள், மேலும் இந்த அமர்வின் வழிமுறைகள் மற்றும் மாறிகள்
இன்லைன்எதுவும் இல்லைஉங்கள் கிளையண்டிலிருந்து முதலில் ஏற்கப்படும் session.update

சேமிக்கப்பட்ட ஏஜென்ட்

ஒவ்வொரு அழைப்பும் பகிரும் தகவல்களைப் பதிப்புகள் மற்றும் சோதனைத் தொகுப்புகளுடன் சேமிக்கப்பட்ட ஏஜென்ட்டில் வைத்திருங்கள்; ஒவ்வொரு அமர்விலும் மாறுபடுவதை முதல் session.update இல் அனுப்புங்கள்: session.prompt.id பயன்படுத்தப்படுத்தப்பட்ட ஏஜென்ட்டைத் தேர்ந்தெடுக்கிறது, session.instructions இந்த அமர்வின் சுருக்கக் குறிப்பைக் கொண்டுள்ளது, மேலும் session.prompt.variables ஏஜென்ட் prompt இன் {{name}} இடஒதுக்கீடுகளை நிரப்புகிறது.

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "prompt": {
      "id": "12",
      "variables": { "user_name": "Ada Park" }
    },
    "instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    }
  }
}

வழிமுறைகள் அழைப்பின் சூழலாக மாறும்; அவை இந்த அழைப்புக்கு மட்டுமே ஏஜென்ட்டின் prompt க்குப் பிறகு சேர்க்கப்படும். அமர்வின் சொந்த விருப்பங்கள் (telephony, outbound, ivr_mode, call_events, placeholders) மற்றும் அது தொடங்கும் மொழி (primary_language) இன்லைன் அமர்வைப் போல session.config இல் சேர்க்கப்படும். ஏஜென்ட்டின் குரல், தயாரிப்பு மற்றும் கருவிகள் அதன் பயன்படுத்தப்படுத்தப்பட்ட உள்ளமைவிலிருந்து வருகின்றன: புதுப்பிப்பில் குரல், வேறு ஏஜென்ட் அமைப்பு அல்லது இயல்புநிலையற்ற tool_choice போன்ற OpenAI-க்கு மட்டுமான புலத்தை வழங்கினால் error நிகழ்வு உருவாகி அது புறக்கணிக்கப்படும்; உங்கள் கிளையன்ட் இயக்கும் கருவிகள் நிராகரிக்கப்படும் (கிளையன்ட் இயக்கும் கருவிகளுக்கு இன்லைன் அமர்வு தேவை). prompt.version ஏற்கப்பட்டு புறக்கணிக்கப்படும். அனைத்து விதிகளுக்கும் சேமிக்கப்பட்ட ஏஜென்ட்டைப் பயன்படுத்துதல் என்பதைப் பார்க்கவும்.

அதற்குப் பதிலாக ?agent_id=12 உடன் இணைத்தால், சாக்கெட் இணையும் போதே ஏஜென்ட் தொடங்கும்; எனவே session.update தேவையில்லை, ஆனால் அதன் அமர்வு உள்ளமைவு பின்னர் நிலையானதாகிவிடும்: அதன்பிறகு அனுப்பப்படும் வழிமுறைகள், மாறிகள் மற்றும் அமர்வு விருப்பங்கள் (outbound, ivr_mode, telephony, placeholders, call_events) error நிகழ்வுடன் நிராகரிக்கப்படும். அதற்குப் பதிலாக உங்கள் முதல் session.update இல் அதைத் தொடங்க URL இல் &wait_for_session_update=1 ஐச் சேர்க்கவும்; அதில் வழிமுறைகள், மாறிகள் மற்றும் அமர்வு விருப்பங்கள் அதே முறையில் இடம்பெறும்; வெளியேறும் அமர்வுக்கு இது தேவை. அந்தப் புதுப்பிப்பு வரும் வரை, அழைப்பாளரின் ஆடியோ நிறுத்திவைக்கப்படும், பிற நிகழ்வுகள் நிராகரிக்கப்படும், மேலும் 10 வினாடிகளுக்குள் எதுவும் வராவிட்டால் சாக்கெட் மூடப்படும்.

வரவேற்பு தொடர்ந்து கிடைக்கும், ஆனால் Realtime ஏஜென்ட்டின் பேச்சு வழி அமைதி சரிபார்ப்புகளை முடக்குகிறது மற்றும் transfer_call, send_keypad_input ஆகியவற்றை call_events உடன் மட்டுமே வழங்குகிறது. பிற இணக்கமான கருவிகள் ThunderPhone இல் இயங்கும்; கிளையன்ட் இயக்கும் கருவிகளுக்கு இன்லைன் அமர்வு தேவை. அழைப்பு தொடங்கிய பிறகு ஆடியோ வடிவங்களையும் அமர்வின் வழிமுறைகள் மற்றும் மாறிகளையும் மாற்ற முடியாது.

இன்லைன் அமர்வு

சேமிக்கப்பட்ட ஏஜென்ட் இல்லையெனில், session.created க்காகக் காத்திருந்து, பின்னர் session.update ஐ அனுப்புங்கள்:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "instructions": "Answer questions clearly and keep responses brief.",
    "audio": {
      "input": {
        "format": { "type": "audio/pcm", "rate": 24000 }
      },
      "output": {
        "format": { "type": "audio/pcm", "rate": 24000 },
        "voice": "olivia"
      }
    },
    "config": {
      "product": "bolt"
    }
  }
}

முதலில் ஏற்கப்படும் புதுப்பிப்பு அழைப்பை அமைக்கிறது. session.updated என்பது அமர்வு செயலில் உள்ளது என்பதைக் குறிக்கிறது. அதன் பிறகு வழிமுறைகள், குரல், தயாரிப்பு, கருவிகள் மற்றும் ஆடியோ வடிவங்களை மாற்ற முடியாது. வழிமுறைகளை நிலையாக வைத்துக்கொண்டு பெயரிடப்பட்ட மதிப்புகளை மட்டும் மாற்ற, அவற்றில் {{name}} இடஒதுக்கிகளை எழுதுங்கள் மற்றும் மதிப்புகளை session.config.variables இல் அனுப்புங்கள்.

இன்லைன் அமர்வுகளில் தானியங்கி வரவேற்போ பேசப்படும் அமைதி சரிபார்ப்புகளோ இல்லை. ஏஜென்ட் முதலில் பேசச் செய்ய, ஒரு அமைப்பு அல்லது பயனர் செய்தியைச் சேர்த்து response.create அனுப்பவும். முற்றிலும் செயலற்ற அமர்வு, இயல்பாக 600 வினாடிகளாக உள்ள தளத்தின் அமைதியான அழைப்பு வரம்பில் முடிவடையும்.

அதிகாரப்பூர்வ OpenAI SDK-ஐ பயன்படுத்தவும்

/v1-இல் முடியும் WebSocket அடிப்படை URL-ஐ அனுப்பவும்; SDK /realtime-ஐச் சேர்க்கும். model மதிப்பு இணக்கத்தன்மைக்கான பெயராகும்; இது ThunderPhone தயாரிப்பைத் தேர்ந்தெடுக்காது. அமர்வு உள்ளமைவு அல்லது சேமிக்கப்பட்ட ஏஜென்ட்டில் தயாரிப்பைத் தேர்ந்தெடுக்கவும்.

இந்த இணைப்புச் சரிபார்ப்பு ஒரு உட்பொதிக்கப்பட்ட Bolt அமர்வை உருவாக்கி, முதல் session.updated வரும் வரை நிகழ்வுகளை அச்சிட்டு, பின்னர் மூடுகிறது. ஆடியோவை ஸ்ட்ரீம் செய்ய குறைந்தபட்ச Python கிளையண்டை பயன்படுத்தவும்.

import asyncio
import os
 
from openai import AsyncOpenAI
 
 
async def main():
    client = AsyncOpenAI(
        api_key=os.environ["THUNDERPHONE_API_KEY"],
        websocket_base_url="wss://api.thunderphone.com/v1",
    )
 
    async with client.realtime.connect(
        model="thunderphone-realtime"
    ) as connection:
        await connection.session.update(session={
            "type": "realtime",
            "instructions": "Listen to the caller and help them complete the call.",
            "config": {"product": "bolt"},
        })
        async for event in connection:
            print(event.type)
            if event.type == "session.updated":
                break
 
 
if __name__ == "__main__":
    asyncio.run(main())

உள்ளீட்டு ஆடியோ இணைப்பு, பதில் ஆடியோ டெல்டாக்கள், குறுக்கீடுகள், செயல்பாட்டு அழைப்புகள், பிழைகள் மற்றும் சுத்தமான சாக்கெட் மூடல் ஆகியவற்றுக்கான தற்போதைய கையாளுதலைத் தொடரவும். உட்பொதிக்கப்பட்ட தனிப்பயன் செயல்பாடுகள் உங்கள் கிளையண்டில் இயங்கும்; அவற்றின் முடிவுகளை Realtime நெறிமுறை வழியாகத் திருப்பி அனுப்பவும். சேமிக்கப்பட்ட ஏஜென்ட் கருவிகள் ThunderPhone-இல் இயங்கும்.

அமர்வு வாழ்க்கைச்சுழற்சி மற்றும் தோல்விகள்

ஒரு WebSocket ஒரு அழைப்பைக் குறிக்கிறது. தவறான ஏஜென்ட் ID அல்லது நிராகரிக்கப்பட்ட உட்பொதிக்கப்பட்ட உள்ளமைவு error நிகழ்வை உருவாக்கும். அமர்வை செயலில் உள்ளதாகக் கருதுவதற்கு முன் session.updated-க்காகக் காத்திருக்கவும். உண்மையான உள்ளீடு மற்றும் வெளியீட்டு வடிவங்களையும் மாதிரி விகிதங்களையும் அறிவிக்கவும்: PCM விகிதப் பொருத்தமின்மை சரிபார்ப்புப் பிழையை உருவாக்குவதற்குப் பதிலாக ஆடியோவை மிக வேகமாகவோ மிக மெதுவாகவோ இயக்கும்.

செஷன் தொடங்கிய பிறகு, உங்கள் பயன்பாட்டின் பணி முடிந்ததும் சாக்கெட்டை முறையாக மூடுங்கள். இன்லைன் செஷன்கள் கிளையன்ட் இயக்கும் செயல்பாடுகளைப் பயன்படுத்தலாம். சேமிக்கப்பட்ட ஏஜென்ட் செஷன்கள் இணக்கமான ThunderPhone இயக்கும் கருவிகளைப் பயன்படுத்தும்; மேலும் call_events உடன் மட்டுமே transfer_call-ஐ (வெளிச்செல்லும் செஷன்களில் send_keypad_input-ஐயும்) வழங்கும்; அந்த call.* நிகழ்வுகளை உங்கள் கிளையன்ட் செயல்படுத்தும்.

ஒருங்கிணைப்பைச் சோதிக்கவும்

குறைந்தபட்ச Python WAV கிளையண்டில் தொடங்கி, அது அறிவித்த விகிதத்தில் ஒரே சேனல் PCM16 WAV கோப்பைப் பயன்படுத்தவும். பின்வருவனவற்றைச் சரிபார்க்கவும்:

  1. சேவையகம் உள்ளமைவை ஏற்று session.updated-ஐ அனுப்புகிறது.
  2. உள்ளீடு எதிர்பார்க்கப்பட்ட வேகத்தில் உரைநகல் மற்றும் பதில்-ஆடியோ நிகழ்வுகளை உருவாக்குகிறது.
  3. குறுக்கீடும் பதில் ரத்துசெய்தலும் மீதமுள்ள வெளியீட்டு ஆடியோவை நிறுத்துகின்றன.
  4. உட்பொதிக்கப்பட்ட செயல்பாட்டு முடிவுகள் அல்லது சேமிக்கப்பட்ட ஏஜென்ட் கருவி முடிவுகள் மாதிரிக்குத் திரும்புகின்றன.
  5. தவறான உள்ளீடு உங்கள் கிளையண்ட் கையாளும் error நிகழ்வை உருவாக்குகிறது.
  6. உங்கள் கிளையண்ட் சாக்கெட்டை மூடுகிறது; அழைப்பு அழைப்பு வரலாற்றில் தோன்றுகிறது.

Realtime WebSocket குறிப்பு, ஏற்றுக்கொள்ளப்படும் நிகழ்வுகள், ஆடியோ வடிவங்கள், அமர்வுப் புலங்கள் மற்றும் முழுமையான எடுத்துக்காட்டுகளைப் பட்டியலிடுகிறது.

செலவு

Realtime அழைப்புகளுக்கான விலை நிர்ணயம் மற்ற அழைப்புகளைப் போலவே உள்ளது: எங்கள் வழங்குநர்களின் பட்டியல் விலைகளில் அவற்றின் கூறுகளுக்கான செலவு, அதனுடன் உள்கட்டமைப்புக் கட்டணம் மற்றும் 17–25% லாப வரம்பு. நேரடி உரைநகல் மாற்றங்களை இயக்குவது முழு அமர்விற்கும் உரைமாற்றப் பணியைச் சேர்க்கும்; நேரடி உரைநகல்கள் மற்றும் விலை நிர்ணயம் பார்க்கவும்.

POST /v1/realtime/sessions என்பது தனியான நிர்வகிக்கப்படும் LiveKit பாதையாகும். இது ஒரு அறையையும் வரம்பிடப்பட்ட பங்கேற்பாளர் டோக்கனையும் உருவாக்கும்; நேரடி WebSocket இணைப்பிற்கு இது தேவையில்லை.

கட்டமைப்பு ஒருங்கிணைப்புகளுக்கு, Pipecat-இலிருந்து ThunderPhone-ஐப் பயன்படுத்தவும் மற்றும் LiveKit Agents-இலிருந்து ThunderPhone-ஐப் பயன்படுத்தவும் என்பதைப் பார்க்கவும்.