ThunderPhone v3 jau veikia.Viską atlikite savarankiškai – nuo 2 ct/min.Skaityti pranešimą

Connect tools & data

Naudokite ThunderPhone su OpenAI Realtime klientais

Nukreipkite su OpenAI Realtime suderinamą serverio klientą į ThunderPhone, naudodami išsaugotą agentą arba įterptinę sesijos konfigūraciją.

ThunderPhone įgyvendina tikslinį OpenAI Realtime įvykių modelio poaibį. Esamas serverio pusės klientas gali išlaikyti savo WebSocket, garso, sesijos ir atsako įvykių srautą naudodamas ThunderPhone balso agentą.

Prieš prisijungdami

Jums reikia ThunderPhone organizacijos slaptojo API rakto ir serverio vykdymo aplinkos, galinčios atidaryti WebSocket ryšius. Nejunkite iš naršyklės kodo ir neatskleiskite rakto naršyklei. Norėdami naudoti išsaugotą agentą, pirmiausia jį įdiekite ir nukopijuokite jo skaitinį agento ID.

Prisijunkite prie:

wss://api.thunderphone.com/v1/realtime

Autentifikuokite WebSocket atnaujinimą iš savo serverio:

Authorization: Bearer sk_live_YOUR_API_KEY

Užklausos eilutės autentifikavimas galimas klientams, kurie negali nustatyti prisijungimo antraščių, tačiau URL lengviau patenka į žurnalus.

Pasirinkite, kam priklauso konfigūracija

RežimasPasirinkite naudodamiKonfigūracijos šaltinis
Išsaugotas agentassession.prompt.id pirmame session.update arba ?agent_id=12Įdiegta užklausa, balsas, produktas, kalbos, žinios ir suderinami serveryje vykdomi įrankiai, taip pat šios sesijos instrukcijos ir kintamieji
ĮterptasisNė vienasPirmas iš jūsų kliento priimtas session.update

Išsaugotas agentas

Išsaugotame agente laikykite tai, kas bendra kiekvienam skambučiui, kuriame yra versijos ir testų rinkiniai, o tai, kas keičiasi kiekvienoje sesijoje, siųskite pirmame session.update: session.prompt.id parenka paskelbtą agentą, session.instructions pateikia šios sesijos trumpą aprašą, o session.prompt.variables užpildo agento raginimo {{name}} vietos rezervavimo ženklus.

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "prompt": {
      "id": "12",
      "variables": { "user_name": "Ada Park" }
    },
    "instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    }
  }
}

Nurodymai tampa skambučio kontekstu, pridedamu po agento raginimo tik šiam skambučiui. Pačios sesijos parinktys (telephony, outbound, ivr_mode, call_events, placeholders) ir kalba, kuria ji pradedama (primary_language), įrašomos į session.config, kaip ir įterptinėje sesijoje. Agento balsas, produktas ir įrankiai gaunami iš jo paskelbtos konfigūracijos: balsas, kita agento nuostata arba tik OpenAI skirtas laukas, pvz., ne numatytoji tool_choice reikšmė atnaujinime, sukuria error įvykį ir yra nepaisomi, o įrankiai, kuriuos vykdo jūsų klientas, atmetami (kliento vykdomiems įrankiams reikia įterptinės sesijos). prompt.version priimamas ir ignoruojamas. Visas taisykles rasite Naudokite išsaugotą agentą.

Prisijungus su ?agent_id=12, agentas paleidžiamas jungiantis lizdui, todėl session.update nereikalingas, tačiau jo sesijos konfigūracija tada yra fiksuota: vėliau siunčiami nurodymai, kintamieji ir sesijos parinktys (outbound, ivr_mode, telephony, placeholders, call_events) atmetami su error įvykiu. Pridėkite &wait_for_session_update=1 prie URL, kad agentas būtų paleistas per pirmąjį session.update, kuriame taip pat perduodami nurodymai, kintamieji ir sesijos parinktys; siunčiamajai sesijai to reikia. Kol šis atnaujinimas negaunamas, skambintojo garsas sulaikomas, kiti įvykiai atmetami, o jei jis negaunamas per 10 sekundžių, lizdas uždaromas.

Pasisveikinimas lieka pasiekiamas, tačiau Realtime išjungia agento žodinius tylos patikrinimus ir siūlo transfer_call bei send_keypad_input tik su call_events. Kiti suderinami įrankiai vykdomi ThunderPhone; kliento vykdomiems įrankiams reikia įterptinės sesijos. Garso formatai ir sesijos nurodymai bei kintamieji negali keistis prasidėjus skambučiui.

Įterptinė sesija

Be išsaugoto agento palaukite session.created, tada išsiųskite session.update:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "instructions": "Answer questions clearly and keep responses brief.",
    "audio": {
      "input": {
        "format": { "type": "audio/pcm", "rate": 24000 }
      },
      "output": {
        "format": { "type": "audio/pcm", "rate": 24000 },
        "voice": "olivia"
      }
    },
    "config": {
      "product": "bolt"
    }
  }
}

Pirmasis priimtas atnaujinimas paruošia skambutį. session.updated reiškia, kad sesija aktyvi. Po šio momento negalima keisti instrukcijų, balso, produkto, įrankių ir garso formatų. Norėdami išlaikyti instrukcijas nekintamas ir keisti tik įvardytas reikšmes, į jas įrašykite vietos rezervavimo ženklus {{name}} ir išsiųskite reikšmes per session.config.variables.

Įterptinės sesijos neturi automatinio pasisveikinimo ar sakytinių tylos patikrinimų. Kad agentas pradėtų kalbėti pirmas, pridėkite sistemos arba naudotojo pranešimą ir siųskite response.create. Visiškai neaktyvi sesija vis tiek baigiasi pasiekus platformos tylaus skambučio ribą, kuri pagal numatytuosius nustatymus yra 600 sekundžių.

Naudokite oficialų OpenAI SDK

Nurodykite WebSocket bazinį URL, kuris baigiasi /v1; SDK prideda /realtime. model reikšmė yra suderinamumo pavadinimas ir nepasirenka ThunderPhone produkto. Produktą pasirinkite sesijos konfigūracijoje arba išsaugotame agente.

Ši ryšio patikra sukuria įterptinę Bolt sesiją, išveda įvykius iki pirmojo session.updated ir užsidaro. Garsui transliuoti naudokite minimalų Python klientą.

import asyncio
import os
 
from openai import AsyncOpenAI
 
 
async def main():
    client = AsyncOpenAI(
        api_key=os.environ["THUNDERPHONE_API_KEY"],
        websocket_base_url="wss://api.thunderphone.com/v1",
    )
 
    async with client.realtime.connect(
        model="thunderphone-realtime"
    ) as connection:
        await connection.session.update(session={
            "type": "realtime",
            "instructions": "Listen to the caller and help them complete the call.",
            "config": {"product": "bolt"},
        })
        async for event in connection:
            print(event.type)
            if event.type == "session.updated":
                break
 
 
if __name__ == "__main__":
    asyncio.run(main())

Išlaikykite esamą įvesties garso pridėjimo, atsako garso deltų, pertraukimų, funkcijų iškvietimų, klaidų ir tvarkingo lizdo uždarymo apdorojimą. Įterptinės pasirinktinės funkcijos vykdomos jūsų kliente; jų rezultatus grąžinkite per Realtime protokolą. Išsaugoto agente įrankiai vykdomi ThunderPhone.

Sesijos gyvavimo ciklas ir gedimai

Vienas WebSocket reiškia vieną skambutį. Netinkamas agento ID arba atmesta įterptinė konfigūracija sukuria error įvykį. Prieš laikydami sesiją aktyvia, palaukite session.updated. Nurodykite faktinius įvesties ir išvesties formatus bei diskretizavimo dažnius: dėl PCM dažnio neatitikties garsas atkuriamas per greitai arba per lėtai, užuot sukėlus patvirtinimo klaidą.

Prasidėjus sesijai, kai programa baigia darbą, tvarkingai uždarykite lizdą. Įterptinės sesijos gali naudoti kliento vykdomas funkcijas. Išsaugoto agento sesijos naudoja suderinamus ThunderPhone vykdomus įrankius ir siūlo transfer_call (bei send_keypad_input siunčiamose sesijose) tik su call_events; jūsų klientas vykdo tuos call.* įvykius.

Išbandykite integraciją

Pradėkite nuo minimalaus Python WAV kliento ir mono PCM16 WAV failo jo nurodytu dažniu. Patikrinkite:

  1. Serveris priima konfigūraciją ir siunčia session.updated.
  2. Įvestis sukuria transkripto ir atsako garso įvykius numatytu greičiu.
  3. Pertraukimas ir atsako atšaukimas sustabdo likusį išvesties garsą.
  4. Įterptinių funkcijų rezultatai arba išsaugoto agento įrankių rezultatai grąžinami modeliui.
  5. Netinkama įvestis sukuria error įvykį, kurį apdoroja jūsų klientas.
  6. Jūsų klientas uždaro lizdą, o skambutis rodomas Skambučių istorijoje.

Realtime WebSocket nuorodoje pateikiami priimami įvykiai, garso formatai, sesijos laukai ir išsamūs pavyzdžiai.

Kaina

Realtime skambučių kaina apskaičiuojama kaip ir bet kurio kito skambučio: pagal jų sudedamųjų dalių kainą mūsų teikėjų kataloginėmis kainomis, pridėjus infrastruktūros mokestį ir 17–25 % maržą. Įjungus tiesioginės transkripcijos pakeitimus, transkribavimo darbai atliekami per visą sesiją; žr. Tiesioginės transkripcijos ir Kainodara.

POST /v1/realtime/sessions yra atskiras valdomas LiveKit kelias. Jis sukuria kambarį ir dalyvio prieigos raktą su nustatyta aprėptimi; jis nereikalingas tiesioginiam WebSocket ryšiui.

Karkasų integracijoms žr. Naudokite ThunderPhone su Pipecat ir Naudokite ThunderPhone su LiveKit Agents.