ThunderPhone v3 sasa inapatikana.Anza mwenyewe, kuanzia 2¢/dakika.Soma tangazo

Connect tools & data

Tumia ThunderPhone na wateja wa OpenAI Realtime

Elekeza mteja wa seva unaooana na OpenAI Realtime kwenye ThunderPhone, ukitumia ama ejenti iliyohifadhiwa au usanidi wa kipindi uliowekwa ndani.

ThunderPhone hutekeleza seti ndogo iliyolengwa ya modeli ya matukio ya OpenAI Realtime. Mteja wa upande wa seva aliyepo anaweza kudumisha mtiririko wake wa matukio ya WebSocket, sauti, sesheni na majibu huku akitumia ejenti ya sauti ya ThunderPhone.

Kabla ya kuunganisha

Unahitaji ufunguo wa API wa siri wa shirika la ThunderPhone na mazingira ya utekelezaji ya seva yanayoweza kufungua WebSocket. Usiunganishe kutoka kwenye msimbo wa kivinjari au kufichua ufunguo kwa kivinjari. Ili kutumia ejenti iliyohifadhiwa, isambaze kwanza kisha unakili kitambulisho chake cha nambari.

Unganisha kwa:

wss://api.thunderphone.com/v1/realtime

Thibitisha uboreshaji wa WebSocket kutoka kwenye seva yako:

Authorization: Bearer sk_live_YOUR_API_KEY

Uthibitishaji wa query string unapatikana kwa wateja wasioweza kuweka vichwa vya handshake, lakini URL ni rahisi zaidi kuvuja kwenye logi.

Chagua anayemiliki usanidi

HaliIchague kwaChanzo cha usanidi
Ejenti iliyohifadhiwasession.prompt.id katika session.update ya kwanza, au ?agent_id=12Prompt, sauti, bidhaa, lugha, maarifa na zana zinazooana zinazoendeshwa na seva zilizotumwa, pamoja na maagizo na vigeu vya kipindi hiki
Ndani ya mstariHakuna kati ya hizosession.update ya kwanza inayokubaliwa kutoka kwa mteja wako

Ejenti iliyohifadhiwa

Hifadhi kile ambacho kila simu hushiriki katika ejenti iliyohifadhiwa, ambako ina matoleo na seti za majaribio, kisha tuma kinachobadilika kwa kila kipindi katika session.update ya kwanza: session.prompt.id huchagua ejenti iliyowekwa, session.instructions hubeba maelezo mafupi ya kipindi hiki, na session.prompt.variables hujaza vijazaji vya {{name}} katika prompt ya ejenti.

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "prompt": {
      "id": "12",
      "variables": { "user_name": "Ada Park" }
    },
    "instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    }
  }
}

Maagizo huwa muktadha wa simu, yakiongezwa baada ya prompt ya ejenti kwa simu hii pekee. Chaguo za kipindi chenyewe (telephony, outbound, ivr_mode, call_events, placeholders) na lugha kinachoanza nayo (primary_language) huwekwa katika session.config, kama ilivyo kwa kipindi cha ndani ya mstari. Sauti, bidhaa na zana za ejenti hutoka kwenye usanidi wake uliowekwa: sauti, mpangilio mwingine wa ejenti, au sehemu ya OpenAI pekee kama tool_choice isiyo chaguo-msingi katika sasisho hutoa tukio la error na hupuuzwa, na zana zinazoendeshwa na mteja wako hukataliwa (zana zinazoendeshwa na mteja zinahitaji kipindi cha ndani ya mstari). prompt.version hukubaliwa na kupuuzwa. Tazama Tumia ejenti iliyohifadhiwa kwa kila kanuni.

Kuunganisha kwa ?agent_id=12 badala yake huanzisha ejenti wakati soketi inaunganisha, kwa hivyo session.update haihitajiki, lakini usanidi wake wa kipindi hufungwa: maagizo, vigeu na chaguo za kipindi (outbound, ivr_mode, telephony, placeholders, call_events) zinazotumwa baada ya hapo hukataliwa kwa tukio la error. Ongeza &wait_for_session_update=1 kwenye URL ili kuianzisha katika session.update yako ya kwanza badala yake, ambayo hubeba maagizo, vigeu na chaguo za kipindi kwa njia ileile; kipindi cha kutoka kinahitaji hili. Hadi sasisho hilo liwasili, sauti ya mpigaji hushikiliwa, matukio mengine hukataliwa, na soketi hufungwa ikiwa hakuna sasisho linalowasili ndani ya sekunde 10.

Salamu bado inapatikana, lakini Realtime huzima ukaguzi wa kimya unaosemwa wa ejenti na hutoa transfer_call na send_keypad_input tu pamoja na call_events. Zana zingine zinazooana huendeshwa kwenye ThunderPhone; zana zinazoendeshwa na mteja zinahitaji kipindi cha ndani ya mstari. Miundo ya sauti pamoja na maagizo na vigeu vya kipindi haviwezi kubadilika baada ya simu kuanza.

Sesheni ya ndani ya mstari

Bila ejenti iliyohifadhiwa, subiri session.created, kisha tuma session.update:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "instructions": "Answer questions clearly and keep responses brief.",
    "audio": {
      "input": {
        "format": { "type": "audio/pcm", "rate": 24000 }
      },
      "output": {
        "format": { "type": "audio/pcm", "rate": 24000 },
        "voice": "olivia"
      }
    },
    "config": {
      "product": "bolt"
    }
  }
}

Sasisho la kwanza linalokubaliwa huandaa simu. session.updated inamaanisha kipindi kimeanza kutumika. Maagizo, sauti, bidhaa, zana na miundo ya sauti haviwezi kubadilishwa baada ya hatua hiyo. Ili kuweka maagizo yasilete mabadiliko na kubadilisha tu thamani zilizopewa majina, andika nafasi-shikizi za {{name}} ndani yake na utume thamani katika session.config.variables.

Sesheni za ndani ya mstari hazina salamu ya kiotomatiki au ukaguzi wa kimya unaosemwa. Ili kumfanya ejenti aanze kuzungumza, ongeza ujumbe wa mfumo au wa mtumiaji kisha tuma response.create. Sesheni isiyo na shughuli kabisa bado huisha katika kikomo cha simu kimya cha jukwaa, sekunde 600 kwa chaguo-msingi.

Tumia SDK rasmi ya OpenAI

Pitisha URL msingi ya WebSocket inayoishia na /v1; SDK huongeza /realtime. Thamani ya model ni jina la uoanifu na haichagui bidhaa ya ThunderPhone. Chagua bidhaa katika usanidi wa kipindi au ejenti iliyohifadhiwa.

Ukaguzi huu wa muunganisho huunda kipindi cha Bolt cha ndani, huchapisha matukio hadi session.updated ya kwanza, kisha hufunga. Tumia mteja mdogo wa Python kutiririsha sauti.

import asyncio
import os
 
from openai import AsyncOpenAI
 
 
async def main():
    client = AsyncOpenAI(
        api_key=os.environ["THUNDERPHONE_API_KEY"],
        websocket_base_url="wss://api.thunderphone.com/v1",
    )
 
    async with client.realtime.connect(
        model="thunderphone-realtime"
    ) as connection:
        await connection.session.update(session={
            "type": "realtime",
            "instructions": "Listen to the caller and help them complete the call.",
            "config": {"product": "bolt"},
        })
        async for event in connection:
            print(event.type)
            if event.type == "session.updated":
                break
 
 
if __name__ == "__main__":
    asyncio.run(main())

Dumisha ushughulikiaji wako uliopo wa kuongeza sauti ya ingizo, delta za sauti za majibu, ukatizaji, miito ya function, hitilafu, na kufunga socket kwa usafi. Function maalum za ndani hutekelezwa katika mteja wako; rudisha matokeo yake kupitia itifaki ya Realtime. Zana za ejenti iliyohifadhiwa hutekelezwa kwenye ThunderPhone.

Mzunguko wa maisha wa kipindi na hitilafu

WebSocket moja inawakilisha simu moja. Kitambulisho batili cha ejenti au usanidi wa ndani uliokataliwa huzalisha tukio la error. Subiri session.updated kabla ya kuchukulia kipindi kuwa kinafanya kazi. Bainisha fomati halisi za ingizo na towe pamoja na viwango vya sampuli: kutolingana kwa kiwango cha PCM hucheza sauti kwa kasi mno au polepole mno badala ya kuzalisha hitilafu ya uthibitishaji.

Baada ya kipindi kuanza, funga soketi kwa usafi programu yako inapomaliza. Vipindi vya ndani vinaweza kutumia functions zinazoendeshwa na mteja. Vipindi vya ejenti zilizohifadhiwa hutumia zana zinazooana zinazoendeshwa na ThunderPhone, na hutoa transfer_call (pamoja na send_keypad_input kwenye vipindi vya simu zinazopigwa) tu kwa call_events; mteja wako hutekeleza matukio hayo ya call.*.

Jaribu ujumuishaji

Anza na mteja mdogo wa Python WAV na WAV ya mono PCM16 katika kiwango chake cha sampuli kilichobainishwa. Thibitisha:

  1. Seva inakubali usanidi na kutuma session.updated.
  2. Ingizo huzalisha matukio ya nakala na sauti ya jibu kwa kasi inayotarajiwa.
  3. Ukatizaji na kughairi jibu husimamisha sauti ya towe iliyosalia.
  4. Matokeo ya function ya ndani au matokeo ya zana ya ejenti iliyohifadhiwa hurudi kwenye model.
  5. Ingizo batili huzalisha tukio la error ambalo mteja wako hushughulikia.
  6. Mteja wako hufunga socket na simu huonekana katika Historia ya simu.

Marejeleo ya Realtime WebSocket yanaorodhesha matukio yanayokubaliwa, fomati za sauti, sehemu za kipindi, na mifano kamili.

Gharama

Simu za Realtime hutozwa kama simu nyingine yoyote: gharama ya vipengele vyake kwa bei za orodha za watoa huduma wetu, pamoja na ada ya miundombinu na faida ya 17–25%. Kuwasha delta za manukuu ya moja kwa moja huongeza kazi ya unukuzi kwa kipindi kizima; tazama Manukuu ya moja kwa moja na Bei.

POST /v1/realtime/sessions ni njia tofauti inayosimamiwa ya LiveKit. Huunda chumba na tokeni ya mshiriki yenye upeo maalum; haihitajiki kwa muunganisho wa moja kwa moja wa WebSocket.

Kwa ujumuishaji wa framework, tazama Tumia ThunderPhone kutoka Pipecat na Tumia ThunderPhone kutoka LiveKit Agents.