ThunderPhone v3 on julkaistu.Ota käyttöön itse – alkaen 2 ¢/min.Lue lisää julkistuksesta

Connect tools & data

Käytä ThunderPhonea Pipecatista

Käytä ThunderPhone-puheagenttia puheesta puheeseen -palveluna Pipecat-putkessa oman siirtoyhteytesi ja puhelininfrastruktuurisi kanssa.

Pipecat on avoimen lähdekoodin kehys puheagenttien rakentamiseen yhdisteltävistä palveluista. ThunderPhone liitetään puheesta puheeksi -LLM-palveluna: Pipecat lähettää soittajan äänen, ThunderPhone palauttaa agentin äänen, transkriptiot ja funktiokutsut, ja Pipecatin siirtoyhteys (Daily, LiveKit, Twilio, WebRTC, paikallinen mikrofoni) välittää äänen. Puheentunnistus, kielimalli, ääni, vuorottelu, 62 kieltä ja työkalut toimivat kaikki ThunderPhonessa.

Tällä tavalla tehdyt puhelut näkyvät puheluhistoriassa, ja ne laskutetaan kuten kaikki muutkin reaaliaikaiset puhelut (hinnoittelu). Niihin ei liity tilausta eikä ThunderPhone-puhelinnumeroa.

Asenna

pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Paketti käärii Pipecatin OpenAI Realtime -palvelun, koska ThunderPhonen Realtime WebSocket käyttää samaa protokollaa. Se vaatii pipecat-ai-version 1.8 tai uudemman.

Suorita tallennettu agentti

Kaikki, mitä agentti tekee (kehote, ääni, moottori, kielet, työkalut, tervehdys ja hiljaisuuden tarkistukset), määritetään ThunderPhonessa. Putki vain siirtää ääntä. Rakenna agentti hallintapaneelissa tai anna Zeuksen (tekoälyagentin, joka rakentaa, testaa ja hienosäätää ThunderPhone-agentteja) määrittää se, ja välitä sitten sen tunnus tähän. ThunderPhonessa käyttöön ottamasi muutokset tulevat voimaan seuraavassa puhelussa ilman, että putkeen tarvitsee koskea.

from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
 
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
 
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
    transport.input(),
    aggregators.user(),
    llm,
    aggregators.assistant(),
    transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))

Tallennettu agentti aloittaa puhelun oman ajoituksensa mukaisesti, joten palvelu ei pyydä Pipecatilta aloitusvastausta. Välitä greet_on_connect=True, jos haluat sellaisen silti.

Määritä istunto suoraan

Ilman agent_id-tunnistetta ohjeet ja työkalut tulevat Pipecat-kontekstista samalla tavalla kuin OpenAI:ssa. product valitsee moottorin ja voice valitsee ThunderPhone-äänen.

from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
 
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
 
async def check_availability(params: FunctionCallParams):
    slots = await calendar.free_slots(params.arguments["date"])
    await params.result_callback({"slots": slots})
 
llm.register_function("check_availability", check_availability)
 
context = LLMContext(
    messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
    tools=ToolsSchema(standard_tools=[
        FunctionSchema(
            name="check_availability",
            description="Free appointment slots on a date",
            properties={"date": {"type": "string"}},
            required=["date"],
        )
    ]),
)

Suoraan määritetyt istunnot ovat asiakkaan ohjaamia: agentti puhuu ensin, koska Pipecat pyytää vastausta, kun konteksti saapuu, ja pysyy hiljaa hiljaisuuden aikana, ellet lisää viestiä tai pyydä uutta vastausta.

Vaihtoehdot

ArgumenttiMerkitys
api_keySalainen avain (sk_live_...). Oletusarvo on THUNDERPHONE_API_KEY.
agent_idSuorita tallennettu agentti. Ei voi käyttää yhdessä product- ja voice-parametrien kanssa.
productMoottori upotetuille istunnoille: bolt (myös vanhemmat spark ja storm hyväksytään edelleen).
voiceThunderPhone-puheen nimi upotetuille istunnoille.
languageEnsisijaisen kielen vihje upotetuille istunnoille, esimerkiksi es.
from_number, to_numberPuheluun tallennettavat numerot, kun putki toimii puhelinlinjan edessä.
live_transcriptsSuoratoista soittajan tekstikatkelmia kesken puheenvuoron (lisäveloitus).
greet_on_connectPyydä ensimmäinen vastaus heti, kun istunto on valmis.
end_task_on_call_endedLähetä EndWorkerFrame, kun ThunderPhone päättää puhelun (oletusarvoisesti käytössä).

Tapahtumat

ThunderPhone lisää alustan tapahtumia reaaliaikaprotokollan päälle. Palvelu välittää ne käsittelijöille:

@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
    print("call ended:", event["reason"], "call id:", service.call_id)

service.call_id asetetaan, kun istunto on käynnissä. Käytä sitä yhdessä GET /v1/calls/{call_id}-päätepisteen kanssa hakeaksesi tallenteen, litteroinnin ja arvioinnin puhelun jälkeen.

Rajoitukset

  • Vuoron tunnistus tehdään palvelinpuolella ja se on aina käytössä; Pipecatin ohjaamia vuoroja (turn_detection=False) ei tueta.
  • Palveluun rekisteröidyt funktiot suoritetaan vain sisäisissä istunnoissa. Tallennettu agentti suorittaa omat työkalunsa ThunderPhonessa.
  • Ääni on 16-bittistä monofonista PCM-ääntä 24 kHz:n taajuudella molempiin suuntiin.
  • Videokehykset ohitetaan.