Open in
LiveKit Agents-இலிருந்து ThunderPhone-ஐப் பயன்படுத்துங்கள்
LiveKit அறைகள், SIP மற்றும் தொலைபேசி வசதிகளுடன், LiveKit Agents அமர்வின் நிகழ்நேர (பேச்சிலிருந்து பேச்சுக்கு) மாதிரியாக ThunderPhone குரல் ஏஜென்ட்டை இயக்குங்கள்.
LiveKit Agents என்பது LiveKit அறைகளின் மேல் இயங்கும் நிகழ்நேர குரல் ஏஜென்ட்களுக்கான ஓப்பன்-சோர்ஸ் ஃப்ரேம்வொர்க் ஆகும். ThunderPhone, நிகழ்நேர மாடல் ஆக இணைகிறது: ஃப்ரேம்வொர்க் பங்கேற்பாளரின் ஆடியோவை அனுப்புகிறது; ThunderPhone ஏஜென்டின் குரல், உரைநகல்கள் மற்றும் ஃபங்க்ஷன் அழைப்புகளைத் திருப்பி வழங்குகிறது; LiveKit-இன் அறை, SIP டிரங்க்கள் மற்றும் தொலைபேசி சேவை ஆடியோவை எடுத்துச் செல்கின்றன. பேச்சு அங்கீகாரம், மொழி மாடல், குரல், முறைமாற்றம், 62 மொழிகள் மற்றும் கருவிகள் அனைத்தும் ThunderPhone-இல் இயங்குகின்றன.
இந்த முறையில் மேற்கொள்ளப்படும் அழைப்புகள் அழைப்பு வரலாற்றில் தோன்றும் மற்றும் பிற நிகழ்நேர அழைப்புகளைப் போலவே கட்டணமிடப்படும் (விலையிடல்). இதில் சந்தாவோ ThunderPhone தொலைபேசி எண்ணோ இல்லை.
நிறுவுக
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyuv உடன், uv add "livekit-agents[thunderphone]~=1.8" அதே
பிளக்இனை நிறுவும். இது livekit/agents
களஞ்சியத்தில் உள்ளது மற்றும் livekit-agents உடனேயே வெளியிடப்படுகிறது, எனவே இரண்டையும்
ஒரே பதிப்பில் வைத்திருங்கள். LiveKit இதை அதன் சொந்த
ThunderPhone பிளக்இன் வழிகாட்டியில் ஆவணப்படுத்துகிறது.
ThunderPhone-இன் Realtime WebSocket அதே நெறிமுறையில் செயல்படுவதால்,
இந்த செருகுநிரல் LiveKit-இன் OpenAI Realtime மாடலைச் சுற்றுகிறது. இதற்கு livekit-agents 1.8
அல்லது அதற்குப் புதிய பதிப்பு தேவை.
சேமிக்கப்பட்ட ஏஜென்டை இயக்குக
ஏஜென்ட் செய்யும் அனைத்தும் (prompt, குரல், என்ஜின், மொழிகள், கருவிகள், வாழ்த்து, அமைதி சரிபார்ப்புகள்) ThunderPhone-இல் கட்டமைக்கப்படுகின்றன. அமர்வு ஆடியோவை மட்டுமே நகர்த்துகிறது. டாஷ்போர்டில் ஏஜென்ட்டை உருவாக்குங்கள் அல்லது ThunderPhone ஏஜென்ட்களை உருவாக்கி, சோதித்து, சரிசெய்யும் AI ஏஜென்டான Zeus மூலம் அதை அமைக்கச் செய்யுங்கள்; பின்னர் அதன் ID-ஐ இங்கே அனுப்புங்கள். நீங்கள் ThunderPhone-இல் deploy செய்யும் மாற்றங்கள், உங்கள் LiveKit குறியீட்டைத் தொடாமல் அடுத்த அழைப்பில் செயல்படும்.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))சேமிக்கப்பட்ட ஏஜென்ட் ThunderPhone-இல் வாழ்த்தி, தனது கருவிகளை இயக்குகிறது; LiveKit
Agent-இன் அறிவுறுத்தல்களும் கருவிகளும் அனுப்பப்படாது. ThunderPhone ஏஜென்ட் அழைப்பைத் துண்டிக்கும்போது
அழைப்பு முடிவடைகிறது; அதனுடன் அமர்வும் மூடப்படுகிறது.
அமர்வை நேரடியாக உள்ளமைக்குக
agent_id இல்லாமல், OpenAI-க்கு இருப்பது போலவே வழிமுறைகளும் கருவிகளும் LiveKit Agent இலிருந்து வருகின்றன. model எஞ்சினைத் தேர்ந்தெடுக்கிறது; voice ThunderPhone குரலைத் தேர்ந்தெடுக்கிறது.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstஅழைப்பு தொடங்கும்போது ThunderPhone அறிவுறுத்தல்களையும் கருவிகளையும் உறையவைக்கிறது; எனவே
update_instructions, update_tools மற்றும் அவற்றை மாற்றும் ஏஜென்ட் மாற்றங்கள் அழைப்பின் நடுவில்
ஆதரிக்கப்படாது. நேரடி அமர்வுகள் கிளையன்ட் வழிநடத்தப்பட்டவை: நீங்கள் generate_reply()-ஐ அழைக்கும்போது
அல்லது பங்கேற்பாளர் ஒரு முறையை முடிக்கும்போது ஏஜென்ட் பேசுகிறது.
விருப்பங்கள்
| ஆர்க்யூமெண்ட் | பொருள் |
|---|---|
api_key | ரகசிய விசை (sk_live_...). இயல்புநிலை THUNDERPHONE_API_KEY. |
agent_id | சேமிக்கப்பட்ட ஏஜென்ட்டை இயக்கவும். model மற்றும் voice உடன் ஒன்றாகப் பயன்படுத்த முடியாது. |
model | இன்லைன் அமர்வுகளுக்கான என்ஜின்: bolt (spark மற்றும் storm ஆகிய பழையவை இன்னும் ஏற்கப்படுகின்றன). |
voice | இன்லைன் அமர்வுகளுக்கான ThunderPhone குரல் பெயர். |
language | இன்லைன் அமர்வுகளுக்கான முதன்மை மொழிக் குறிப்பு, எ.கா. es. |
caller_number, callee_number | அறை ஒரு தொலைபேசி இணைப்பை முன்வைக்கும்போது அழைப்பின் தொலைபேசி எண்கள். அழைப்பு வரலாற்றில் அவை அனுப்புநர் மற்றும் பெறுநர் எண்களாகக் காட்டப்படும். |
live_transcripts | பேசிக்கொண்டிருக்கும் போதே அழைப்பாளர் உரைநகல் துண்டுகளை ஸ்ட்ரீம் செய்யவும் (கூடுதல் கட்டணம்). |
base_url | எண்ட்பாயிண்ட் மேலெழுதுதல்; இயல்புநிலை wss://api.thunderphone.com/v1/realtime. |
நிகழ்வுகள்
நிகழ்நேர நெறிமுறைக்கு மேல் ThunderPhone தள நிகழ்வுகளைச் சேர்க்கிறது. அமர்வு அவற்றை வெளியிடுகிறது:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])அமர்வு செயல்பாட்டுக்கு வந்ததும் RealtimeSession, call_id-ஐ வழங்கும். அழைப்புக்குப் பிறகு பதிவை,
உரையாடல் பதிவை மற்றும் தரத்தைப் பெற, அதை
GET /v1/calls/{call_id} உடன் பயன்படுத்தவும். மற்ற எல்லா call.* நிகழ்வுகளும் (மாற்றுதல்,
விசைப்பலகை, புறக்கணிக்கப்பட்ட பேச்சு) thunderphone_call_event ஆக வரும்.
வரம்புகள்
- முறை கண்டறிதல் சர்வர் பக்கத்தில் நடைபெறும், எப்போதும் இயக்கத்தில் இருக்கும்; ஃப்ரேம்வொர்க் பக்க முறை கண்டறிதல்
(
AgentSession-இல் உள்ளturn_detection) புறக்கணிக்கப்படும். - அழைப்பு தொடங்கியதும் வழிமுறைகளையும் கருவிகளையும் மாற்ற முடியாது.
- இரு திசைகளிலும் ஒலி 24 kHz-ல் 16-பிட் மோனோ PCM ஆகும்.
- வீடியோ ஃப்ரேம்கள் புறக்கணிக்கப்படும்.