Open in
Използвайте ThunderPhone от Pipecat
Изпълнявайте гласов агент на ThunderPhone като услуга за реч към реч в конвейер на Pipecat, със собствен транспорт и телефония.
Pipecat е framework с отворен код за създаване на гласови агенти от комбинируеми услуги. ThunderPhone се интегрира като LLM услуга за реч към реч: Pipecat изпраща аудиото на обаждащия се, ThunderPhone връща гласа на агента, транскрипции и извиквания на функции, а транспортът на Pipecat (Daily, LiveKit, Twilio, WebRTC, локален микрофон) пренася аудиото. Разпознаването на реч, езиковият модел, гласът, управлението на редуването в разговора, 62 езика и инструментите работят изцяло в ThunderPhone.
Обажданията, извършени по този начин, се показват в хронологията на обажданията и се таксуват като всяко друго обаждане в реално време (цени). Не е необходимо абонамент или телефонен номер на ThunderPhone.
Инсталиране
pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyПакетът обвива услугата OpenAI Realtime на Pipecat, защото
Realtime WebSocket на ThunderPhone използва същия протокол. Необходим е
pipecat-ai 1.8 или по-нова версия.
Стартиране на запазен агент
Всичко, което агентът прави (подкана, глас, механизъм, езици, инструменти, поздрав и проверки при тишина), се конфигурира в ThunderPhone. Пайплайнът само пренася аудио. Създайте агента в таблото за управление или оставете Zeus (AI агентът, който създава, тества и настройва ThunderPhone агенти) да го конфигурира, след което подайте неговия ID тук. Промените, които внедрявате в ThunderPhone, се прилагат при следващото обаждане, без да променяте пайплайна си.
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
transport.input(),
aggregators.user(),
llm,
aggregators.assistant(),
transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))Запазеният агент започва обаждането по собствен график, затова услугата не
заявява начална реплика от Pipecat. Подайте greet_on_connect=True, ако все пак
искате такава.
Конфигуриране на сесията директно
Без agent_id инструкциите и инструментите идват от контекста на Pipecat,
по същия начин както при OpenAI. product избира механизма, а voice избира
гласа на ThunderPhone.
from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
async def check_availability(params: FunctionCallParams):
slots = await calendar.free_slots(params.arguments["date"])
await params.result_callback({"slots": slots})
llm.register_function("check_availability", check_availability)
context = LLMContext(
messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
tools=ToolsSchema(standard_tools=[
FunctionSchema(
name="check_availability",
description="Free appointment slots on a date",
properties={"date": {"type": "string"}},
required=["date"],
)
]),
)Директните сесии се управляват от клиента: агентът говори първи, защото Pipecat заявява отговор, когато пристигне контекстът, и остава тих при тишина, освен ако не добавите съобщение или не заявите друг отговор.
Опции
| Аргумент | Значение |
|---|---|
api_key | Таен ключ (sk_live_...). По подразбиране е THUNDERPHONE_API_KEY. |
agent_id | Стартира запазен агент. Взаимно изключващ се с product и voice. |
product | Машина за вградени сесии: bolt (по-старите spark и storm също се приемат). |
voice | Име на гласа на ThunderPhone за вградени сесии. |
language | Подсказка за основния език за вградени сесии, например es. |
from_number, to_number | Номера, които да се записват при разговора, когато конвейерът обслужва телефонна линия. |
live_transcripts | Предавайте фрагменти от транскрипцията на обаждащия се по време на изказването му (таксува се допълнително). |
greet_on_connect | Заявете първи отговор веднага щом сесията е готова. |
end_task_on_call_ended | Изпращайте EndWorkerFrame, когато ThunderPhone приключи разговора (включено по подразбиране). |
Събития
ThunderPhone добавя събития на платформата към протокола в реално време. Услугата ги предава на обработчиците:
@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
print("call ended:", event["reason"], "call id:", service.call_id)service.call_id се задава, след като сесията е активна. Използвайте го с
GET /v1/calls/{call_id}, за да изтеглите записа,
транскрипцията и оценката след разговора.
Ограничения
- Разпознаването на реда за говорене се извършва от сървъра и винаги е включено; не се поддържат
редове, управлявани от Pipecat (
turn_detection=False). - Функциите, регистрирани в услугата, се изпълняват само за вградени сесии. Запазен агент изпълнява собствените си инструменти в ThunderPhone.
- Аудиото е 16-битов моно PCM с 24 kHz и в двете посоки.
- Видео кадрите се игнорират.