ThunderPhone v3 je zdaj na voljo.Začnite sami, že od 2 ¢/min.Preberite obvestilo

Connect tools & data

Uporabite ThunderPhone z odjemalci OpenAI Realtime

Odjemalca strežnika, združljivega z OpenAI Realtime, usmerite na ThunderPhone z uporabo shranjenega agenta ali vdelane konfiguracije seje.

ThunderPhone izvaja osredotočeno podmnožico dogodkovnega modela OpenAI Realtime. Obstoječi odjemalec na strani strežnika lahko ohrani tok dogodkov WebSocket, zvoka, seje in odzivov ter uporablja glasovnega agenta ThunderPhone.

Preden se povežete

Potrebujete tajni ključ API organizacije ThunderPhone in izvajalno okolje strežnika, ki lahko odpre povezave WebSocket. Ne povezujte se iz kode brskalnika in ključa ne izpostavljajte brskalniku. Če želite uporabiti shranjenega agenta, ga najprej uvedite in kopirajte njegov številčni ID agenta.

Povežite se z:

wss://api.thunderphone.com/v1/realtime

Nadgradnjo povezave WebSocket preverite z avtentikacijo iz strežnika:

Authorization: Bearer sk_live_YOUR_API_KEY

Preverjanje pristnosti s poizvedbenim nizom je na voljo za odjemalce, ki ne morejo nastaviti glav med rokovanjem, vendar se URL-ji lažje razkrijejo v dnevnikih.

Izberite, kdo upravlja konfiguracijo

NačinIzberete ga zVir konfiguracije
Shranjeni agentsession.prompt.id v prvem session.update ali ?agent_id=12Objavljen poziv, glas, izdelek, jeziki, znanje in združljiva orodja, ki se izvajajo v strežniku, ter navodila in spremenljivke te seje
VrstičnoNičemerPrvi sprejeti session.update iz vašega odjemalca

Shranjeni agent

V shranjenem agentu hranite vse, kar je skupno vsem klicem, kjer so na voljo različice in preskusni nabori, v prvem session.update pa pošljite, kar se spremeni za posamezno sejo: session.prompt.id izbere uvedenega agenta, session.instructions vsebuje povzetek te seje, session.prompt.variables pa izpolni označbe {{name}} v pozivu agenta.

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "prompt": {
      "id": "12",
      "variables": { "user_name": "Ada Park" }
    },
    "instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    }
  }
}

Navodila postanejo kontekst klica, dodan za pozivom agenta samo za ta klic. Lastne možnosti seje (telephony, outbound, ivr_mode, call_events, placeholders) in jezik, v katerem se začne (primary_language), so v session.config, tako kot pri vdelani seji. Glas, izdelek in orodja agenta izhajajo iz njegove uvedene konfiguracije: glas, druga nastavitev agenta ali polje, ki je na voljo samo v OpenAI, kot je neprivzeta vrednost tool_choice v posodobitvi, ustvari dogodek error in se prezre, orodja, ki jih izvaja vaš odjemalec, pa so zavrnjena (orodja, ki jih izvaja odjemalec, zahtevajo vdelano sejo). prompt.version je sprejet in prezrt. Za vsa pravila glejte Uporaba shranjenega agenta.

Povezava z ?agent_id=12 namesto tega zažene agenta med povezovanjem vtičnice, zato session.update ni potreben, vendar je njegova konfiguracija seje nato nespremenljiva: navodila, spremenljivke in možnosti seje (outbound, ivr_mode, telephony, placeholders, call_events), poslane po tem, so zavrnjene z dogodkom error. V URL dodajte &wait_for_session_update=1, da ga namesto tega zaženete ob prvem session.update, ki nato na enak način vsebuje navodila, spremenljivke in možnosti seje; odhodna seja to zahteva. Dokler ta posodobitev ne prispe, je zvok klicatelja zadržan, drugi dogodki so zavrnjeni, vtičnica pa se zapre, če nobena ne prispe v 10 sekundah.

Pozdrav ostane na voljo, vendar Realtime onemogoči govorne preveritve agenta ob tišini ter ponuja transfer_call in send_keypad_input samo z call_events. Druga združljiva orodja se izvajajo v ThunderPhone; orodja, ki jih izvaja odjemalec, zahtevajo vdelano sejo. Zvočnih formatov ter navodil in spremenljivk seje po začetku klica ni mogoče spremeniti.

Seja v vrstici

Brez shranjenega agenta počakajte na session.created, nato pošljite session.update:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "instructions": "Answer questions clearly and keep responses brief.",
    "audio": {
      "input": {
        "format": { "type": "audio/pcm", "rate": 24000 }
      },
      "output": {
        "format": { "type": "audio/pcm", "rate": 24000 },
        "voice": "olivia"
      }
    },
    "config": {
      "product": "bolt"
    }
  }
}

Prva sprejeta posodobitev vzpostavi klic. session.updated pomeni, da je seja aktivna. Navodil, glasu, izdelka, orodij in zvočnih formatov po tej točki ni mogoče spreminjati. Če želite ohraniti navodila nespremenjena in spreminjati le poimenovane vrednosti, vanje vpišite označbe mesta {{name}} in vrednosti pošljite v session.config.variables.

Seje v vrstici nimajo samodejnega pozdrava ali govornih preverjanj med tišino. Če želite, da agent spregovori prvi, dodajte sistemsko ali uporabniško sporočilo in pošljite response.create. Popolnoma nedejavna seja se še vedno konča ob omejitvi platforme za tihe klice, ki je privzeto 600 sekund.

Uporabite uradni SDK za OpenAI

Posredujte osnovni URL za WebSocket, ki se konča z /v1; SDK doda /realtime. Vrednost model je ime za združljivost in ne izbere izdelka ThunderPhone. Izdelek izberite v konfiguraciji seje ali shranjenem agentu.

To preverjanje povezave ustvari vstavljeno sejo Bolt, izpisuje dogodke do prvega session.updated in nato povezavo zapre. Za pretakanje zvoka uporabite minimalni odjemalec Python.

import asyncio
import os
 
from openai import AsyncOpenAI
 
 
async def main():
    client = AsyncOpenAI(
        api_key=os.environ["THUNDERPHONE_API_KEY"],
        websocket_base_url="wss://api.thunderphone.com/v1",
    )
 
    async with client.realtime.connect(
        model="thunderphone-realtime"
    ) as connection:
        await connection.session.update(session={
            "type": "realtime",
            "instructions": "Listen to the caller and help them complete the call.",
            "config": {"product": "bolt"},
        })
        async for event in connection:
            print(event.type)
            if event.type == "session.updated":
                break
 
 
if __name__ == "__main__":
    asyncio.run(main())

Ohranite obstoječe obravnavanje dodajanja vhodnega zvoka, razlik odzivnega zvoka, prekinitev, klicev funkcij, napak in čistega zapiranja vtičnice. Vstavljene funkcije po meri se izvajajo v vašem odjemalcu; njihove rezultate vrnite prek protokola Realtime. Orodja shranjenega agenta se izvajajo v ThunderPhone.

Življenjski cikel seje in napake

En WebSocket predstavlja en klic. Neveljaven ID agenta ali zavrnjena vstavljena konfiguracija povzroči dogodek error. Preden sejo obravnavate kot aktivno, počakajte na session.updated. Navedite dejanske vhodne in izhodne formate ter vzorčne frekvence: neujemanje frekvence PCM predvaja zvok prehitro ali prepočasi, namesto da bi povzročilo napako preverjanja veljavnosti.

Ko se seja začne, povezavo vtičnice urejeno zaprite, ko aplikacija zaključi delo. Vdelane seje lahko uporabljajo funkcije, ki jih izvede odjemalec. Seje s shranjenim agentom uporabljajo združljiva orodja, ki jih izvaja ThunderPhone, in ponujajo transfer_call (ter send_keypad_input v odhodnih sejah) samo z call_events; vaš odjemalec izvede te dogodke call.*.

Preizkusite integracijo

Začnite z minimalnim odjemalcem Python WAV in mono PCM16 WAV pri navedeni frekvenci. Preverite:

  1. Strežnik sprejme konfiguracijo in pošlje session.updated.
  2. Vhod ustvari dogodke prepisa in odzivnega zvoka s pričakovano hitrostjo.
  3. Prekinitev in preklic odziva ustavita preostali izhodni zvok.
  4. Rezultati vstavljenih funkcij ali orodij shranjenega agenta se vrnejo modelu.
  5. Neveljaven vnos ustvari dogodek error, ki ga vaš odjemalec obravnava.
  6. Vaš odjemalec zapre vtičnico in klic se prikaže v Zgodovini klicev.

Vodnik za Realtime WebSocket navaja sprejete dogodke, zvočne formate, polja seje in popolne primere.

Cena

Klici Realtime se zaračunavajo kot vsi drugi klici: po stroških njihovih komponent po cenikih naših ponudnikov, z dodatkom pristojbine za infrastrukturo in 17–25-% marže. Omogočanje sprotnih razlik v prepisu doda delo prepisovanja za celotno sejo; glejte Sprotni prepisi in Cene.

POST /v1/realtime/sessions je ločena upravljana pot LiveKit. Ustvari sobo in žeton udeleženca z omejenim obsegom; ni potrebna za neposredno povezavo WebSocket.

Za integracije z ogrodji glejte Uporabite ThunderPhone iz Pipecat in Uporabite ThunderPhone iz LiveKit Agents.