Open in
LiveKit Agents ਤੋਂ ThunderPhone ਵਰਤੋ
ThunderPhone ਵੌਇਸ ਏਜੰਟ ਨੂੰ LiveKit Agents ਸੈਸ਼ਨ ਦੇ ਰੀਅਲਟਾਈਮ (ਸਪੀਚ-ਤੋਂ-ਸਪੀਚ) ਮਾਡਲ ਵਜੋਂ ਚਲਾਓ, ਜਿਸ ਦੇ ਆਲੇ-ਦੁਆਲੇ LiveKit ਰੂਮ, SIP ਅਤੇ ਟੈਲੀਫੋਨੀ ਹੋਣ।
LiveKit Agents LiveKit ਰੂਮਾਂ ਉੱਤੇ ਰੀਅਲਟਾਈਮ ਵੌਇਸ ਏਜੰਟਾਂ ਲਈ ਇੱਕ ਓਪਨ-ਸੋਰਸ ਫ੍ਰੇਮਵਰਕ ਹੈ। ThunderPhone ਰੀਅਲਟਾਈਮ ਮਾਡਲ ਵਜੋਂ ਜੁੜਦਾ ਹੈ: ਫ੍ਰੇਮਵਰਕ ਭਾਗੀਦਾਰ ਦਾ ਆਡੀਓ ਭੇਜਦਾ ਹੈ, ThunderPhone ਏਜੰਟ ਦੀ ਆਵਾਜ਼, ਟ੍ਰਾਂਸਕ੍ਰਿਪਟਾਂ ਅਤੇ ਫੰਕਸ਼ਨ ਕਾਲਾਂ ਵਾਪਸ ਕਰਦਾ ਹੈ, ਅਤੇ LiveKit ਦੇ ਰੂਮ, SIP ਟਰੰਕ ਅਤੇ ਟੈਲੀਫੋਨੀ ਆਡੀਓ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ। ਸਪੀਚ ਰਿਕਗਨੀਸ਼ਨ, ਭਾਸ਼ਾ ਮਾਡਲ, ਆਵਾਜ਼, ਵਾਰੀ-ਵਾਰ ਗੱਲਬਾਤ, 62 ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਟੂਲ ਸਭ ThunderPhone ਉੱਤੇ ਚੱਲਦੇ ਹਨ।
ਇਸ ਤਰੀਕੇ ਨਾਲ ਕੀਤੀਆਂ ਕਾਲਾਂ ਕਾਲ ਇਤਿਹਾਸ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੀਆਂ ਹਨ ਅਤੇ ਕਿਸੇ ਵੀ ਹੋਰ ਰੀਅਲਟਾਈਮ ਕਾਲ ਵਾਂਗ ਬਿਲ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ (ਕੀਮਤਾਂ)। ਇਸ ਵਿੱਚ ਕੋਈ ਸਬਸਕ੍ਰਿਪਸ਼ਨ ਜਾਂ ThunderPhone ਫ਼ੋਨ ਨੰਬਰ ਸ਼ਾਮਲ ਨਹੀਂ ਹੁੰਦਾ।
ਇੰਸਟਾਲ ਕਰੋ
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyuv ਨਾਲ, uv add "livekit-agents[thunderphone]~=1.8" ਉਹੀ ਪਲੱਗਇਨ ਇੰਸਟਾਲ ਕਰਦਾ ਹੈ। ਇਹ livekit/agents
ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਸ਼ਾਮਲ ਹੈ ਅਤੇ livekit-agents ਦੇ ਨਾਲ ਹੀ ਰਿਲੀਜ਼ ਹੁੰਦਾ ਹੈ, ਇਸ ਲਈ ਦੋਵਾਂ ਨੂੰ
ਇੱਕੋ ਵਰਜਨ 'ਤੇ ਰੱਖੋ। LiveKit ਇਸਦਾ ਵੇਰਵਾ ਆਪਣੀ
ThunderPhone ਪਲੱਗਇਨ ਗਾਈਡ ਵਿੱਚ ਦਿੰਦਾ ਹੈ।
ਪਲੱਗਇਨ LiveKit ਦੇ OpenAI Realtime ਮਾਡਲ ਨੂੰ ਰੈਪ ਕਰਦਾ ਹੈ, ਕਿਉਂਕਿ ThunderPhone ਦਾ Realtime WebSocket ਉਹੀ ਪ੍ਰੋਟੋਕੋਲ ਬੋਲਦਾ ਹੈ। ਇਸ ਲਈ livekit-agents 1.8 ਜਾਂ ਇਸ ਤੋਂ ਨਵਾਂ ਵਰਜਨ ਚਾਹੀਦਾ ਹੈ।
ਸੇਵ ਕੀਤਾ ਏਜੰਟ ਚਲਾਓ
ਏਜੰਟ ਵੱਲੋਂ ਕੀਤੀ ਜਾਣ ਵਾਲੀ ਹਰ ਚੀਜ਼ (prompt, ਆਵਾਜ਼, ਇੰਜਣ, ਭਾਸ਼ਾਵਾਂ, ਟੂਲ, ਸਵਾਗਤ, ਚੁੱਪੀ ਦੌਰਾਨ ਚੈੱਕ-ਇਨ) ThunderPhone 'ਤੇ ਕਨਫਿਗਰ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਸੈਸ਼ਨ ਸਿਰਫ਼ ਆਡੀਓ ਭੇਜਦਾ ਹੈ। ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ ਏਜੰਟ ਬਣਾਓ ਜਾਂ Zeus (ThunderPhone ਏਜੰਟਾਂ ਨੂੰ ਬਣਾਉਣ, ਟੈਸਟ ਕਰਨ ਅਤੇ ਟਿਊਨ ਕਰਨ ਵਾਲਾ AI ਏਜੰਟ) ਤੋਂ ਇਸਨੂੰ ਸੈੱਟਅੱਪ ਕਰਵਾਓ, ਫਿਰ ਇਸਦੀ ID ਇੱਥੇ ਦਿਓ। ਤੁਸੀਂ ThunderPhone 'ਤੇ ਜੋ ਤਬਦੀਲੀਆਂ ਡਿਪਲੌਇ ਕਰਦੇ ਹੋ, ਉਹ ਤੁਹਾਡੇ LiveKit ਕੋਡ ਨੂੰ ਛੂਹੇ ਬਿਨਾਂ ਅਗਲੀ ਕਾਲ 'ਤੇ ਲਾਗੂ ਹੋ ਜਾਂਦੀਆਂ ਹਨ।
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))ਸੇਵ ਕੀਤਾ ਏਜੰਟ ThunderPhone ਉੱਤੇ ਸਵਾਗਤ ਕਰਦਾ ਹੈ ਅਤੇ ਆਪਣੇ ਟੂਲ ਚਲਾਉਂਦਾ ਹੈ; LiveKit ਦੇ Agent ਦੀਆਂ ਹਿਦਾਇਤਾਂ ਅਤੇ ਟੂਲ ਨਹੀਂ ਭੇਜੇ ਜਾਂਦੇ। ਜਦੋਂ ThunderPhone ਏਜੰਟ ਕਾਲ ਬੰਦ ਕਰਦਾ ਹੈ ਤਾਂ ਕਾਲ ਖਤਮ ਹੋ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਸੈਸ਼ਨ ਵੀ ਉਸਦੇ ਨਾਲ ਬੰਦ ਹੋ ਜਾਂਦਾ ਹੈ।
ਸੈਸ਼ਨ ਨੂੰ ਇਨਲਾਈਨ ਕੌਂਫਿਗਰ ਕਰੋ
agent_id ਤੋਂ ਬਿਨਾਂ, ਹਦਾਇਤਾਂ ਅਤੇ ਟੂਲ LiveKit Agent ਤੋਂ ਆਉਂਦੇ ਹਨ, ਬਿਲਕੁਲ ਉਸੇ ਤਰ੍ਹਾਂ ਜਿਵੇਂ ਉਹ OpenAI ਲਈ ਆਉਂਦੇ ਹਨ। model ਇੰਜਣ ਚੁਣਦਾ ਹੈ ਅਤੇ voice ThunderPhone ਦੀ ਆਵਾਜ਼ ਚੁਣਦਾ ਹੈ।
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstThunderPhone ਕਾਲ ਸ਼ੁਰੂ ਹੋਣ ਵੇਲੇ ਹਿਦਾਇਤਾਂ ਅਤੇ ਟੂਲ ਫ੍ਰੀਜ਼ ਕਰ ਦਿੰਦਾ ਹੈ, ਇਸ ਲਈ ਕਾਲ ਦੌਰਾਨ update_instructions, update_tools ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਬਦਲਣ ਵਾਲੇ ਏਜੰਟ ਹੈਂਡ-ਆਫ਼ ਸਮਰਥਿਤ ਨਹੀਂ ਹਨ। ਇਨਲਾਈਨ ਸੈਸ਼ਨ ਕਲਾਇੰਟ-ਨਿਯੰਤਰਿਤ ਹੁੰਦੇ ਹਨ: ਏਜੰਟ ਉਦੋਂ ਬੋਲਦਾ ਹੈ ਜਦੋਂ ਤੁਸੀਂ generate_reply() ਕਾਲ ਕਰਦੇ ਹੋ ਜਾਂ ਜਦੋਂ ਭਾਗੀਦਾਰ ਆਪਣੀ ਵਾਰੀ ਪੂਰੀ ਕਰਦਾ ਹੈ।
ਚੋਣਾਂ
| ਆਰਗੂਮੈਂਟ | ਅਰਥ |
|---|---|
api_key | ਗੁਪਤ ਕੁੰਜੀ (sk_live_...)। ਡਿਫਾਲਟ THUNDERPHONE_API_KEY ਹੈ। |
agent_id | ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਏਜੰਟ ਚਲਾਓ। model ਅਤੇ voice ਨਾਲ ਆਪਸੀ ਤੌਰ 'ਤੇ ਅਸੰਗਤ ਹੈ। |
model | ਇਨਲਾਈਨ ਸੈਸ਼ਨਾਂ ਲਈ ਇੰਜਣ: bolt (spark ਅਤੇ storm ਦੇ ਪੁਰਾਣੇ ਵਰਜਨ ਹਾਲੇ ਵੀ ਸਵੀਕਾਰ ਹਨ)। |
voice | ਇਨਲਾਈਨ ਸੈਸ਼ਨਾਂ ਲਈ ThunderPhone ਵੌਇਸ ਨਾਮ। |
language | ਇਨਲਾਈਨ ਸੈਸ਼ਨਾਂ ਲਈ ਮੁੱਖ ਭਾਸ਼ਾ ਸੰਕੇਤ, ਉਦਾਹਰਨ ਲਈ es। |
caller_number, callee_number | ਜਦੋਂ ਰੂਮ ਫ਼ੋਨ ਲਾਈਨ ਦੇ ਸਾਹਮਣੇ ਹੋਵੇ, ਕਾਲ ਦੇ ਫ਼ੋਨ ਨੰਬਰ। ਇਹ ਕਾਲ ਇਤਿਹਾਸ ਵਿੱਚ from ਅਤੇ to ਨੰਬਰਾਂ ਵਜੋਂ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। |
live_transcripts | ਬੋਲਣ ਦੌਰਾਨ ਕਾਲਰ ਦੇ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਟੁਕੜੇ ਸਟ੍ਰੀਮ ਕਰੋ (ਵਾਧੂ ਬਿਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ)। |
base_url | ਐਂਡਪੌਇੰਟ ਓਵਰਰਾਈਡ, ਡਿਫਾਲਟ wss://api.thunderphone.com/v1/realtime। |
ਇਵੈਂਟ
ThunderPhone ਰੀਅਲਟਾਈਮ ਪ੍ਰੋਟੋਕੋਲ ਦੇ ਉੱਪਰ ਪਲੇਟਫਾਰਮ ਇਵੈਂਟ ਜੋੜਦਾ ਹੈ। ਸੈਸ਼ਨ ਇਨ੍ਹਾਂ ਨੂੰ ਐਮਿਟ ਕਰਦਾ ਹੈ:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])ਸੈਸ਼ਨ ਲਾਈਵ ਹੋਣ 'ਤੇ RealtimeSession call_id ਐਕਸਪੋਜ਼ ਕਰਦਾ ਹੈ। ਕਾਲ ਤੋਂ ਬਾਅਦ
ਰਿਕਾਰਡਿੰਗ, ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਅਤੇ ਗ੍ਰੇਡ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਇਸਨੂੰ
GET /v1/calls/{call_id} ਨਾਲ ਵਰਤੋ। ਹਰ ਹੋਰ call.* ਇਵੈਂਟ
(ਟ੍ਰਾਂਸਫਰ, ਕੀਪੈਡ, ਅਣਡਿੱਠੀ ਕੀਤੀ ਸਪੀਚ) thunderphone_call_event ਵਜੋਂ ਆਉਂਦਾ ਹੈ।
ਸੀਮਾਵਾਂ
- ਟਰਨ ਡਿਟੈਕਸ਼ਨ ਸਰਵਰ-ਸਾਈਡ ਹੈ ਅਤੇ ਹਮੇਸ਼ਾ ਚਾਲੂ ਰਹਿੰਦਾ ਹੈ; ਫਰੇਮਵਰਕ-ਸਾਈਡ ਟਰਨ ਡਿਟੈਕਸ਼ਨ
(
AgentSessionਉੱਤੇturn_detection) ਨੂੰ ਅਣਡਿੱਠਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। - ਕਾਲ ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਬਾਅਦ ਹਦਾਇਤਾਂ ਅਤੇ ਟੂਲ ਨਹੀਂ ਬਦਲੇ ਜਾ ਸਕਦੇ।
- ਆਡੀਓ ਦੋਵੇਂ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ 24 kHz 'ਤੇ 16-ਬਿੱਟ ਮੋਨੋ PCM ਹੈ।
- ਵੀਡੀਓ ਫ੍ਰੇਮਾਂ ਨੂੰ ਅਣਡਿੱਠਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।