Open in
Користите ThunderPhone из Pipecat-а
Покрените ThunderPhone гласовног агента као услугу говор-у-говор унутар Pipecat цевовода, са сопственим транспортом и телефонијом.
Pipecat је оквир отвореног кода за израду гласовних агената од састављивих услуга. ThunderPhone се интегрише као LLM услуга за говор у говор: Pipecat шаље звук позиваоца, ThunderPhone враћа глас агента, транскрипте и позиве функција, а Pipecat транспорт (Daily, LiveKit, Twilio, WebRTC, локални микрофон) преноси звук. Препознавање говора, језички модел, глас, управљање сменом говора, 62 језика и алати покрећу се на ThunderPhone-у.
Позиви упућени на овај начин приказују се у историји позива и наплаћују се као и сваки други позив у реалном времену (ценовник). Не постоји претплата нити је укључен ThunderPhone број телефона.
Инсталирајте
pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyПакет обавија Pipecat-ову OpenAI Realtime услугу, јер ThunderPhone-ов
Realtime WebSocket користи исти протокол. Потребан је
pipecat-ai 1.8 или новији.
Покрените сачуваног агента
Све што агент ради (упит, глас, механизам, језици, алатке, поздрав, провере тишине) конфигурише се на ThunderPhone. Цевовод само преноси звук. Направите агента на контролној табли или нека га подеси Zeus (AI агент који прави, тестира и подешава ThunderPhone агенте), а затим овде проследите његов ID. Промене које примените на ThunderPhone важиће за следећи позив без измена вашег цевовода.
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
transport.input(),
aggregators.user(),
llm,
aggregators.assistant(),
transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))Сачувани агент самостално започиње позив према сопственом распореду, па услуга не
захтева почетни одговор од Pipecat-а. Проследите greet_on_connect=True ако га
ипак желите.
Конфигуришите сесију у линији
Без agent_id, упутства и алати долазе из Pipecat контекста, на
исти начин као за OpenAI. product бира погон, а voice бира
ThunderPhone глас.
from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
async def check_availability(params: FunctionCallParams):
slots = await calendar.free_slots(params.arguments["date"])
await params.result_callback({"slots": slots})
llm.register_function("check_availability", check_availability)
context = LLMContext(
messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
tools=ToolsSchema(standard_tools=[
FunctionSchema(
name="check_availability",
description="Free appointment slots on a date",
properties={"date": {"type": "string"}},
required=["date"],
)
]),
)Сесијама у линији управља клијент: агент говори први јер Pipecat захтева одговор када контекст стигне и остаје тих током тишине осим ако не додате поруку или не затражите други одговор.
Опције
| Аргумент | Значење |
|---|---|
api_key | Тајни кључ (sk_live_...). Подразумевано је THUNDERPHONE_API_KEY. |
agent_id | Покрените сачуваног агента. Узајамно се искључује са product и voice. |
product | Механизам за уграђене сесије: bolt (старији spark и storm су и даље прихваћени). |
voice | Назив ThunderPhone гласа за уграђене сесије. |
language | Назнака примарног језика за уграђене сесије, нпр. es. |
from_number, to_number | Бројеви за евидентирање у позиву када цевовод управља телефонском линијом. |
live_transcripts | Стримујте фрагменте транскрипта позиваоца током изговарања (додатно се наплаћује). |
greet_on_connect | Затражите први одговор чим сесија буде спремна. |
end_task_on_call_ended | Проследите EndWorkerFrame када ThunderPhone заврши позив (подразумевано укључено). |
Догађаји
ThunderPhone додаје догађаје платформе поврх протокола у реалном времену. Услуга их испоручује обрађивачима:
@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
print("call ended:", event["reason"], "call id:", service.call_id)service.call_id се поставља када сесија постане активна. Користите га са
GET /v1/calls/{call_id} да бисте преузели снимак,
транскрипт и оцену након позива.
Ограничења
- Детекција смене говора се извршава на серверу и увек је укључена; смене које
покреће Pipecat (
turn_detection=False) нису подржане. - Функције регистроване у услузи извршавају се само за уграђене сесије. Сачувани агент извршава сопствене алате у ThunderPhone-у.
- Аудио је 16-битни моно PCM на 24 kHz у оба смера.
- Видео-кадрови се занемарују.