Open in
Користите ThunderPhone из LiveKit Agents
Покрените ThunderPhone гласовног агента као модел у реалном времену (говор у говор) у сесији LiveKit Agents, уз LiveKit собе, SIP и телефонију око њега.
LiveKit Agents је оквир отвореног кода за гласовне агенте у реалном времену поврх LiveKit соба. ThunderPhone се повезује као модел у реалном времену: оквир шаље звук учесника, ThunderPhone враћа глас агента, транскрипте и позиве функција, а LiveKit соба, SIP магистралне линије и телефонија преносе звук. Препознавање говора, језички модел, глас, смена говорника, 62 језика и алати раде на ThunderPhone-у.
Позиви остварени на овај начин приказују се у историји позива и наплаћују се као и сваки други позив у реалном времену (ценовник). Не постоји претплата нити је укључен ThunderPhone број телефона.
Инсталирајте
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyУз uv, uv add "livekit-agents[thunderphone]~=1.8" инсталира исти
додатак. Испоручује се у репозиторијуму livekit/agents
и објављује се заједно са самим пакетом livekit-agents, па их задржите на
истој верзији. LiveKit га документује у сопственом
водичу за ThunderPhone додатак.
Додатак обавија LiveKit OpenAI Realtime модел, јер ThunderPhone
Realtime WebSocket користи исти протокол. Потребан
је livekit-agents 1.8 или новији.
Покрените сачуваног агента
Све што агент ради (упит, глас, механизам, језици, алати, поздрав, провере тишине) конфигурише се у ThunderPhone-у. Сесија само преноси звук. Направите агента на контролној табли или нека га Zeus (AI агент који прави, тестира и подешава ThunderPhone агенте) конфигурише, а затим овде проследите његов ID. Промене које објавите у ThunderPhone-у примењују се на следећи позив без измена вашег LiveKit кода.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))Сачувани агент поздравља и покреће сопствене алате на ThunderPhone; упутства
и алати LiveKit Agent агента се не шаљу. Позив се завршава када
ThunderPhone агент прекине везу, а сесија се затвара заједно с њим.
Конфигуришите сесију у коду
Без agent_id, упутства и алати долазе из LiveKit Agent, на исти начин као и за OpenAI. model бира механизам, а voice бира ThunderPhone глас.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstThunderPhone закључава упутства и алате када позив почне, па
update_instructions, update_tools и предаје агента које их мењају
нису подржане током позива. Уграђене сесије усмерава клијент: агент говори
када позовете generate_reply() или када учесник заврши свој ред.
Опције
| Аргумент | Значење |
|---|---|
api_key | Тајни кључ (sk_live_...). Подразумевано је THUNDERPHONE_API_KEY. |
agent_id | Покрените сачуваног агента. Узајамно се искључује са model и voice. |
model | Мотор за сесије у линији: bolt (старији spark и storm су и даље прихваћени). |
voice | Назив ThunderPhone гласа за сесије у линији. |
language | Назнака примарног језика за сесије у линији, нпр. es. |
caller_number, callee_number | Бројеви телефона позива када соба представља телефонску линију. Појављују се као бројеви од и до у историји позива. |
live_transcripts | Стримујте фрагменте транскрипта позиваоца током изговора (додатно се наплаћује). |
base_url | Замена крајње тачке, подразумевано wss://api.thunderphone.com/v1/realtime. |
Догађаји
ThunderPhone додаје догађаје платформе поврх протокола у реалном времену. Сесија их емитује:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])RealtimeSession излаже call_id када је сесија активна. Користите га са
GET /v1/calls/{call_id} да бисте преузели снимак,
транскрипт и оцену након позива. Сваки други догађај call.* (пребацивање,
тастатура, игнорисан говор) стиже као thunderphone_call_event.
Ограничења
- Детекција смене говора је на страни сервера и увек је укључена; детекција смене говора
на страни оквира (
turn_detectionуAgentSession) се игнорише. - Упутства и алати не могу се мењати када позив започне.
- Звук је 16-битни моно PCM на 24 kHz у оба смера.
- Видео-кадрови се игноришу.