ThunderPhone v3 હવે લાઇવ છે.સેલ્ફ-સર્વ, 2¢/મિનિટથી.જાહેરાત વાંચો

Connect tools & data

OpenAI Realtime ક્લાયન્ટ્સ સાથે ThunderPhone નો ઉપયોગ કરો

સાચવેલા એજન્ટ અથવા inline સેશન કન્ફિગરેશનનો ઉપયોગ કરીને OpenAI Realtime-સુસંગત સર્વર ક્લાયન્ટને ThunderPhone તરફ નિર્દેશિત કરો.

ThunderPhone OpenAI Realtime ઇવેન્ટ મોડેલનો કેન્દ્રિત ઉપસેટ અમલમાં મૂકે છે. હાલનો સર્વર-સાઇડ ક્લાયન્ટ ThunderPhone વૉઇસ એજન્ટનો ઉપયોગ કરતી વખતે તેનો WebSocket, ઑડિયો, સેશન અને રિસ્પોન્સ ઇવેન્ટ પ્રવાહ જાળવી શકે છે.

કનેક્ટ કરતા પહેલાં

તમને ThunderPhone સંસ્થાની સિક્રેટ API કી અને WebSocket ખોલી શકે એવો સર્વર રનટાઇમ જોઈએ. બ્રાઉઝર કોડમાંથી કનેક્ટ કરશો નહીં અથવા બ્રાઉઝર સામે કી જાહેર કરશો નહીં. સેવ કરેલા એજન્ટનો ઉપયોગ કરવા માટે, પહેલાં તેને ડિપ્લોય કરો અને તેનો આંકડાકીય એજન્ટ ID કૉપી કરો.

આ સાથે કનેક્ટ કરો:

wss://api.thunderphone.com/v1/realtime

તમારા સર્વર પરથી WebSocket અપગ્રેડને પ્રમાણિત કરો:

Authorization: Bearer sk_live_YOUR_API_KEY

હેન્ડશેક હેડર્સ સેટ ન કરી શકતા ક્લાયન્ટ માટે ક્વેરી-સ્ટ્રિંગ પ્રમાણીકરણ ઉપલબ્ધ છે, પરંતુ URLs લૉગ્સમાં વધુ સરળતાથી લીક થઈ શકે છે.

કૉન્ફિગરેશનની માલિકી કોણ ધરાવે છે તે પસંદ કરો

મોડઆ સાથે પસંદ કરોકૉન્ફિગ્યુરેશન સ્રોત
સાચવેલ એજન્ટપ્રથમ session.update માં session.prompt.id, અથવા ?agent_id=12ડિપ્લોય કરેલ prompt, અવાજ, પ્રોડક્ટ, ભાષાઓ, જ્ઞાન અને સુસંગત સર્વર-રન ટૂલ્સ, ઉપરાંત આ સેશનની સૂચનાઓ અને વેરિએબલ્સ
ઇનલાઇનકોઈ નહીંતમારા ક્લાયન્ટ તરફથી પ્રથમ સ્વીકૃત session.update

સેવ કરેલો એજન્ટ

દરેક કૉલમાં સામાન્ય હોય તે બધું સેવ કરેલા એજન્ટમાં રાખો, જેમાં વર્ઝન અને ટેસ્ટ સેટ્સ હોય છે, અને દરેક સેશનમાં બદલાતી માહિતી પ્રથમ session.update માં મોકલો: session.prompt.id ડિપ્લોય કરેલા એજન્ટને પસંદ કરે છે, session.instructions આ સેશનની સંક્ષિપ્ત માહિતી ધરાવે છે, અને session.prompt.variables એજન્ટ prompt ના {{name}} પ્લેસહોલ્ડર્સ ભરે છે.

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "prompt": {
      "id": "12",
      "variables": { "user_name": "Ada Park" }
    },
    "instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    }
  }
}

નિર્દેશો કૉલનો સંદર્ભ બને છે અને ફક્ત આ કૉલ માટે એજન્ટના prompt પછી ઉમેરાય છે. ઇનલાઇન સેશનની જેમ, સેશનના પોતાના વિકલ્પો (telephony, outbound, ivr_mode, call_events, placeholders) અને તે જે ભાષામાં શરૂ થાય છે (primary_language) session.config માં જાય છે. એજન્ટનો અવાજ, પ્રોડક્ટ અને ટૂલ્સ તેની ડિપ્લોય કરેલી કૉન્ફિગરેશનમાંથી આવે છે: અપડેટમાં અવાજ, એજન્ટનું બીજું સેટિંગ અથવા નૉન-ડિફૉલ્ટ tool_choice જેવી માત્ર OpenAI માટેની ફીલ્ડ error ઇવેન્ટ ઉત્પન્ન કરે છે અને અવગણવામાં આવે છે, અને તમારો ક્લાયન્ટ ચલાવે તે ટૂલ્સ નકારવામાં આવે છે (ક્લાયન્ટ-એક્ઝિક્યુટેડ ટૂલ્સ માટે ઇનલાઇન સેશન જરૂરી છે). prompt.version સ્વીકારવામાં આવે છે અને અવગણવામાં આવે છે. દરેક નિયમ માટે સેવ કરેલા એજન્ટનો ઉપયોગ કરો જુઓ.

તેના બદલે ?agent_id=12 સાથે કનેક્ટ કરવાથી સોકેટ કનેક્ટ થતી વખતે એજન્ટ શરૂ થાય છે, તેથી session.update જરૂરી નથી, પરંતુ પછી તેની સેશન કૉન્ફિગરેશન નિશ્ચિત થઈ જાય છે: ત્યારબાદ મોકલવામાં આવેલા નિર્દેશો, વેરિએબલ્સ અને સેશન વિકલ્પો (outbound, ivr_mode, telephony, placeholders, call_events) error ઇવેન્ટ સાથે નકારવામાં આવે છે. તેના બદલે તેને તમારા પ્રથમ session.update પર શરૂ કરવા માટે URL માં &wait_for_session_update=1 ઉમેરો; પછી તે એ જ રીતે નિર્દેશો, વેરિએબલ્સ અને સેશન વિકલ્પો ધરાવે છે; આઉટબાઉન્ડ સેશન માટે આ જરૂરી છે. તે અપડેટ આવે ત્યાં સુધી, કૉલરનો ઑડિયો રોકી રાખવામાં આવે છે, અન્ય ઇવેન્ટ્સ નકારવામાં આવે છે, અને 10 સેકન્ડમાં કોઈ અપડેટ ન આવે તો સોકેટ બંધ થાય છે.

અભિવાદન ઉપલબ્ધ રહે છે, પરંતુ Realtime એજન્ટના બોલચાલના મૌન ચેક-ઇન્સ નિષ્ક્રિય કરે છે અને transfer_call તથા send_keypad_input ફક્ત call_events સાથે આપે છે. અન્ય સુસંગત ટૂલ્સ ThunderPhone પર ચાલે છે; ક્લાયન્ટ-એક્ઝિક્યુટેડ ટૂલ્સ માટે ઇનલાઇન સેશન જરૂરી છે. કૉલ શરૂ થયા પછી ઑડિયો ફોર્મેટ્સ તથા સેશનના નિર્દેશો અને વેરિએબલ્સ બદલી શકાતા નથી.

ઇનલાઇન સેશન

સાચવેલા એજન્ટ વિના, session.created માટે રાહ જુઓ, પછી session.update મોકલો:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "instructions": "Answer questions clearly and keep responses brief.",
    "audio": {
      "input": {
        "format": { "type": "audio/pcm", "rate": 24000 }
      },
      "output": {
        "format": { "type": "audio/pcm", "rate": 24000 },
        "voice": "olivia"
      }
    },
    "config": {
      "product": "bolt"
    }
  }
}

પ્રથમ સ્વીકૃત અપડેટ કૉલનું પ્રોવિઝનિંગ કરે છે. session.updated નો અર્થ છે કે સેશન સક્રિય છે. તે પછી સૂચનાઓ, વૉઇસ, પ્રોડક્ટ, ટૂલ્સ અને ઑડિયો ફૉર્મેટ બદલી શકાતા નથી. સૂચનાઓને સ્થિર રાખવા અને માત્ર નામવાળા મૂલ્યો બદલવા માટે, તેમાં {{name}} પ્લેસહોલ્ડર લખો અને મૂલ્યો session.config.variables માં મોકલો.

ઇનલાઇન સેશન્સમાં કોઈ સ્વચાલિત અભિવાદન અથવા બોલીને કરાતી શાંતિ ચકાસણીઓ નથી. એજન્ટને પહેલાં બોલાવવા માટે, સિસ્ટમ અથવા યુઝર મેસેજ ઉમેરો અને response.create મોકલો. સંપૂર્ણપણે નિષ્ક્રિય સેશન પણ પ્લેટફૉર્મની મૂક કૉલ મર્યાદા પર સમાપ્ત થાય છે, જે ડિફૉલ્ટરૂપે 600 સેકન્ડ છે.

સત્તાવાર OpenAI SDK નો ઉપયોગ કરો

/v1 પર સમાપ્ત થતો WebSocket base URL પાસ કરો; SDK /realtime ઉમેરે છે. model મૂલ્ય સુસંગતતા નામ છે અને ThunderPhone પ્રોડક્ટ પસંદ કરતું નથી. પ્રોડક્ટને સેશન કૉન્ફિગરેશનમાં અથવા સેવ કરેલા એજન્ટમાં પસંદ કરો.

આ કનેક્શન તપાસ ઇનલાઇન Bolt સેશન બનાવે છે, પ્રથમ session.updated સુધી ઇવેન્ટ્સ પ્રિન્ટ કરે છે અને પછી બંધ થાય છે. ઑડિયો સ્ટ્રીમ કરવા માટે ન્યૂનતમ Python ક્લાયન્ટ નો ઉપયોગ કરો.

import asyncio
import os
 
from openai import AsyncOpenAI
 
 
async def main():
    client = AsyncOpenAI(
        api_key=os.environ["THUNDERPHONE_API_KEY"],
        websocket_base_url="wss://api.thunderphone.com/v1",
    )
 
    async with client.realtime.connect(
        model="thunderphone-realtime"
    ) as connection:
        await connection.session.update(session={
            "type": "realtime",
            "instructions": "Listen to the caller and help them complete the call.",
            "config": {"product": "bolt"},
        })
        async for event in connection:
            print(event.type)
            if event.type == "session.updated":
                break
 
 
if __name__ == "__main__":
    asyncio.run(main())

ઇનપુટ-ઑડિયો ઉમેરવા, રિસ્પોન્સ ઑડિયો ડેલ્ટા, અવરોધો, ફંક્શન કૉલ, ભૂલો અને સોકેટને સ્વચ્છ રીતે બંધ કરવા માટેની તમારી હાલની હેન્ડલિંગ જાળવો. ઇનલાઇન કસ્ટમ ફંક્શન્સ તમારા ક્લાયન્ટમાં ચાલે છે; તેમના પરિણામો Realtime પ્રોટોકોલ દ્વારા પરત કરો. સેવ કરેલા એજન્ટના ટૂલ્સ ThunderPhone પર ચાલે છે.

સેશન જીવનચક્ર અને નિષ્ફળતાઓ

એક WebSocket એક કૉલનું પ્રતિનિધિત્વ કરે છે. અમાન્ય એજન્ટ ID અથવા નકારવામાં આવેલ ઇનલાઇન કૉન્ફિગરેશન error ઇવેન્ટ ઉત્પન્ન કરે છે. સેશનને સક્રિય ગણતા પહેલાં session.updated ની રાહ જુઓ. વાસ્તવિક ઇનપુટ અને આઉટપુટ ફૉર્મેટ્સ તથા સેમ્પલ રેટ જાહેર કરો: PCM રેટમાં અસંગતતા વેલિડેશન ભૂલ ઉત્પન્ન કરવાને બદલે ઑડિયોને ખૂબ ઝડપી અથવા ખૂબ ધીમો વગાડે છે.

સેશન શરૂ થયા પછી, તમારી એપ્લિકેશનનું કામ પૂર્ણ થાય ત્યારે સોકેટને યોગ્ય રીતે બંધ કરો. ઇનલાઇન સેશન ક્લાયન્ટ દ્વારા ચલાવવામાં આવતા ફંક્શન્સનો ઉપયોગ કરી શકે છે. સાચવેલા એજન્ટ સેશન સુસંગત ThunderPhone-સંચાલિત ટૂલ્સનો ઉપયોગ કરે છે અને call_events સાથે જ transfer_call (અને આઉટબાઉન્ડ સેશનમાં send_keypad_input) આપે છે; તમારો ક્લાયન્ટ તે call.* ઇવેન્ટ્સ ચલાવે છે.

ઇન્ટિગ્રેશનનું પરીક્ષણ કરો

ન્યૂનતમ Python WAV ક્લાયન્ટ અને તેની જાહેર કરેલી રેટ પર મોનો PCM16 WAV થી શરૂઆત કરો. ચકાસો:

  1. સર્વર કૉન્ફિગરેશન સ્વીકારે છે અને session.updated મોકલે છે.
  2. ઇનપુટ અપેક્ષિત ઝડપે ટ્રાન્સક્રિપ્ટ અને રિસ્પોન્સ-ઑડિયો ઇવેન્ટ્સ ઉત્પન્ન કરે છે.
  3. અવરોધ અને રિસ્પોન્સ રદ કરવાથી બાકીનું આઉટપુટ ઑડિયો બંધ થાય છે.
  4. ઇનલાઇન ફંક્શન પરિણામો અથવા સેવ કરેલા એજન્ટ ટૂલ પરિણામો મોડેલને પરત આવે છે.
  5. અમાન્ય ઇનપુટ error ઇવેન્ટ ઉત્પન્ન કરે છે, જેને તમારો ક્લાયન્ટ હેન્ડલ કરે છે.
  6. તમારો ક્લાયન્ટ સોકેટ બંધ કરે છે અને કૉલ કૉલ ઇતિહાસમાં દેખાય છે.

Realtime WebSocket રેફરન્સ સ્વીકૃત ઇવેન્ટ્સ, ઑડિયો ફૉર્મેટ્સ, સેશન ફીલ્ડ્સ અને સંપૂર્ણ ઉદાહરણોની યાદી આપે છે.

ખર્ચ

રીઅલટાઇમ કૉલ્સની કિંમત અન્ય કોઈપણ કૉલ જેવી જ હોય છે: અમારા પ્રદાતાઓની સૂચિ કિંમતો પર તેમના ઘટકોનો ખર્ચ, ઉપરાંત ઇન્ફ્રાસ્ટ્રક્ચર ચાર્જ અને 17–25% માર્જિન. લાઇવ ટ્રાન્સક્રિપ્ટ ડેલ્ટા સક્ષમ કરવાથી સમગ્ર સત્ર માટે ટ્રાન્સક્રિપ્શન કાર્ય ઉમેરાય છે; લાઇવ ટ્રાન્સક્રિપ્ટ્સ અને કિંમત જુઓ.

POST /v1/realtime/sessions એક અલગ મેનેજ્ડ LiveKit પાથ છે. તે રૂમ અને મર્યાદિત પાર્ટિસિપન્ટ ટોકન બનાવે છે; સીધા WebSocket કનેક્શન માટે તેની જરૂર નથી.

ફ્રેમવર્ક ઇન્ટિગ્રેશન્સ માટે, Pipecat માંથી ThunderPhone નો ઉપયોગ કરો અને LiveKit Agents માંથી ThunderPhone નો ઉપયોગ કરો જુઓ.