Open in
LiveKit Agentsમાંથી ThunderPhone નો ઉપયોગ કરો
LiveKit રૂમ્સ, SIP અને ટેલિફોની સાથે, LiveKit Agents સેશનના રીઅલટાઇમ (સ્પીચ-ટુ-સ્પીચ) મોડેલ તરીકે ThunderPhone વૉઇસ એજન્ટ ચલાવો.
LiveKit Agents એ LiveKit રૂમ્સ પર રીઅલટાઇમ વૉઇસ એજન્ટ્સ માટેનું ઓપન-સોર્સ ફ્રેમવર્ક છે. ThunderPhone રીઅલટાઇમ મોડેલ તરીકે જોડાય છે: ફ્રેમવર્ક ભાગલેનારનો ઑડિયો મોકલે છે, ThunderPhone એજન્ટનો અવાજ, ટ્રાન્સક્રિપ્ટ્સ અને ફંક્શન કૉલ્સ પરત કરે છે, અને LiveKitના રૂમ્સ, SIP ટ્રંક્સ અને ટેલિફોની ઑડિયો વહન કરે છે. સ્પીચ રેકગ્નિશન, લેંગ્વેજ મોડેલ, અવાજ, વારો લેવાની પ્રક્રિયા, 62 ભાષાઓ અને ટૂલ્સ બધું ThunderPhone પર ચાલે છે.
આ રીતે કરવામાં આવેલા કૉલ્સ કૉલ ઇતિહાસમાં દેખાય છે અને અન્ય કોઈપણ રીઅલટાઇમ કૉલની જેમ બિલ કરવામાં આવે છે (કિંમત). તેમાં કોઈ સબ્સ્ક્રિપ્શન અથવા ThunderPhone ફોન નંબર સામેલ નથી.
ઇન્સ્ટોલ કરો
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyuv સાથે, uv add "livekit-agents[thunderphone]~=1.8" એ જ
પ્લગઇન ઇન્સ્ટોલ કરે છે. તે livekit/agents
રિપોઝિટરીમાં ઉપલબ્ધ છે અને livekit-agents સાથે જ રિલીઝ થાય છે, તેથી બંનેને
એક જ વર્ઝન પર રાખો. LiveKit તેના પોતાના
ThunderPhone પ્લગઇન માર્ગદર્શિકામાં તેનું દસ્તાવેજીકરણ કરે છે.
પ્લગિન LiveKitના OpenAI રીઅલટાઇમ મોડેલને રૅપ કરે છે, કારણ કે ThunderPhoneનું
Realtime WebSocket એ જ પ્રોટોકોલનો ઉપયોગ કરે છે. તેને
livekit-agents 1.8 અથવા નવી આવૃત્તિની જરૂર છે.
સાચવેલ એજન્ટ ચલાવો
એજન્ટ જે કંઈ કરે છે તે બધું (prompt, અવાજ, એન્જિન, ભાષાઓ, ટૂલ્સ, સ્વાગત, મૌન ચેક-ઇન્સ) ThunderPhone પર કન્ફિગર થાય છે. સેશન માત્ર ઑડિયો પ્રસારિત કરે છે. ડેશબોર્ડમાં એજન્ટ બનાવો અથવા Zeus (ThunderPhone એજન્ટો બનાવતો, પરીક્ષણ કરતો અને સુધારતો AI એજન્ટ) દ્વારા તેને સેટ અપ કરાવો, પછી તેનો ID અહીં આપો. તમે ThunderPhone પર ડિપ્લોય કરેલા ફેરફારો તમારા LiveKit કોડને સ્પર્શ્યા વિના આગામી કૉલ પર લાગુ થાય છે.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))સાચવેલ એજન્ટ ThunderPhone પર અભિવાદન કરે છે અને પોતાના ટૂલ્સ ચલાવે છે; LiveKit
Agentની સૂચનાઓ અને ટૂલ્સ મોકલવામાં આવતાં નથી. ThunderPhone એજન્ટ કૉલ બંધ કરે
ત્યારે કૉલ સમાપ્ત થાય છે અને તેની સાથે સેશન પણ બંધ થાય છે.
સેશનને ઇનલાઇન કન્ફિગર કરો
agent_id વિના, સૂચનાઓ અને ટૂલ્સ LiveKit Agentમાંથી આવે છે, બિલકુલ OpenAI માટે જેમ આવે છે તેમ. model એન્જિન પસંદ કરે છે અને voice ThunderPhone અવાજ પસંદ કરે છે.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstકૉલ શરૂ થાય ત્યારે ThunderPhone સૂચનાઓ અને ટૂલ્સને સ્થિર કરે છે, તેથી
update_instructions, update_tools અને તેમને બદલતા એજન્ટ હૅન્ડ-ઑફ્સ કૉલ દરમિયાન
સમર્થિત નથી. ઇનલાઇન સેશન્સ ક્લાયન્ટ-નિયંત્રિત હોય છે: તમે generate_reply()
કૉલ કરો ત્યારે અથવા સહભાગી પોતાનો વારો પૂર્ણ કરે ત્યારે એજન્ટ બોલે છે.
વિકલ્પો
| આર્ગ્યુમેન્ટ | અર્થ |
|---|---|
api_key | સિક્રેટ કી (sk_live_...). ડિફૉલ્ટ THUNDERPHONE_API_KEY છે. |
agent_id | સાચવેલ એજન્ટ ચલાવો. model અને voice સાથે પરસ્પર વિશિષ્ટ છે. |
model | ઇનલાઇન સત્રો માટે એન્જિન: bolt (spark અને storm ના જૂના વર્ઝન હજુ પણ સ્વીકાર્ય છે). |
voice | ઇનલાઇન સત્રો માટે ThunderPhone વૉઇસનું નામ. |
language | ઇનલાઇન સત્રો માટે પ્રાથમિક ભાષાનો સંકેત, ઉદાહરણ તરીકે es. |
caller_number, callee_number | રૂમ ફોન લાઇનનું ફ્રન્ટએન્ડ હોય ત્યારે કૉલના ફોન નંબર. તે કૉલ ઇતિહાસમાં from અને to નંબરો તરીકે દેખાય છે. |
live_transcripts | ઉચ્ચારણ દરમિયાન કૉલરના ટ્રાન્સક્રિપ્ટના ભાગો સ્ટ્રીમ કરો (વધારાનું બિલ લાગશે). |
base_url | એન્ડપૉઇન્ટ ઓવરરાઇડ; ડિફૉલ્ટ wss://api.thunderphone.com/v1/realtime છે. |
ઇવેન્ટ્સ
ThunderPhone રીઅલટાઇમ પ્રોટોકોલ પર પ્લેટફૉર્મ ઇવેન્ટ્સ ઉમેરે છે. સત્ર તેને એમિટ કરે છે:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])સત્ર સક્રિય થયા પછી RealtimeSession call_id પ્રદર્શિત કરે છે. કૉલ પછી
રેકોર્ડિંગ, ટ્રાન્સક્રિપ્ટ અને મૂલ્યાંકન મેળવવા માટે તેનો ઉપયોગ
GET /v1/calls/{call_id} સાથે કરો. દરેક અન્ય call.* ઇવેન્ટ
(ટ્રાન્સફર, કીપેડ, ભાષણ અવગણાયું) thunderphone_call_event તરીકે આવે છે.
મર્યાદાઓ
- ટર્ન ડિટેક્શન સર્વર-સાઇડ છે અને હંમેશા ચાલુ રહે છે; ફ્રેમવર્ક-સાઇડ ટર્ન ડિટેક્શન
(
AgentSessionપરનુંturn_detection) અવગણવામાં આવે છે. - કૉલ શરૂ થયા પછી સૂચનાઓ અને ટૂલ્સ બદલી શકાતા નથી.
- ઑડિયો બંને દિશામાં 24 kHz પર 16-બિટ મોનો PCM છે.
- વિડિયો ફ્રેમ્સ અવગણવામાં આવે છે.