ThunderPhone v3 พร้อมให้ใช้งานแล้วเริ่มใช้งานได้ด้วยตัวเอง ราคาเริ่มต้น 2 เซนต์ต่อนาที.อ่านประกาศเปิดตัว

Connect tools & data

ใช้ ThunderPhone จาก LiveKit Agents

เรียกใช้เอเจนต์เสียง ThunderPhone เป็นโมเดลแบบเรียลไทม์ (เสียงสู่เสียง) ของเซสชัน LiveKit Agents พร้อม LiveKit rooms, SIP และระบบโทรศัพท์โดยรอบ

LiveKit Agents เป็นเฟรมเวิร์กโอเพนซอร์ส สำหรับเอเจนต์เสียงแบบเรียลไทม์บนห้อง LiveKit โดย ThunderPhone เชื่อมต่อในฐานะ โมเดลเรียลไทม์: เฟรมเวิร์กจะส่งเสียงของผู้เข้าร่วม ThunderPhone จะส่งกลับเสียงของเอเจนต์ บันทึกถอดเสียง และการเรียกใช้ฟังก์ชัน ขณะที่ห้องของ LiveKit SIP trunk และระบบโทรศัพท์จะส่งผ่านเสียง การรู้จำเสียง โมเดลภาษา เสียง การสลับรอบการสนทนา 62 ภาษา และเครื่องมือทั้งหมดทำงานบน ThunderPhone

การโทรที่ดำเนินการด้วยวิธีนี้จะแสดงในประวัติการโทร และ คิดค่าบริการเช่นเดียวกับการโทรแบบเรียลไทม์อื่นๆ (ราคา) ไม่มี การสมัครสมาชิกหรือหมายเลขโทรศัพท์ ThunderPhone ที่เกี่ยวข้อง

ติดตั้ง

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

เมื่อใช้ uv คำสั่ง uv add "livekit-agents[thunderphone]~=1.8" จะติดตั้ง ปลั๊กอินเดียวกัน ปลั๊กอินนี้อยู่ในรีโพซิทอรี livekit/agents และเผยแพร่พร้อมกับ livekit-agents เอง ดังนั้นให้ใช้ทั้งสองรายการใน เวอร์ชันเดียวกัน LiveKit มีเอกสารของปลั๊กอินนี้ใน คู่มือปลั๊กอิน ThunderPhone

ปลั๊กอินนี้ครอบโมเดล OpenAI Realtime ของ LiveKit เนื่องจาก Realtime WebSocketของ ThunderPhone ใช้โปรโตคอลเดียวกัน ต้องใช้ livekit-agents เวอร์ชัน 1.8 หรือใหม่กว่า

เรียกใช้เอเจนต์ที่บันทึกไว้

ทุกสิ่งที่เอเจนต์ทำ (พรอมต์ เสียง เอนจิน ภาษา เครื่องมือ คำทักทาย การตรวจสอบเมื่อเงียบ) ได้รับการกำหนดค่าบน ThunderPhone เซสชันจะส่งผ่านเฉพาะเสียงเท่านั้น สร้างเอเจนต์ในแดชบอร์ด หรือให้ Zeus (AI เอเจนต์ที่สร้าง ทดสอบ และปรับแต่งเอเจนต์ ThunderPhone) ตั้งค่าให้ จากนั้นส่ง ID ของเอเจนต์มาที่นี่ การเปลี่ยนแปลงที่คุณปรับใช้บน ThunderPhone จะมีผลกับการโทรครั้งถัดไปโดยไม่ต้องแก้ไขโค้ด LiveKit ของคุณ

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

เอเจนต์ที่บันทึกไว้จะทักทายและเรียกใช้เครื่องมือของตัวเองบน ThunderPhone โดยจะไม่ส่งคำสั่งและเครื่องมือของ Agent ใน LiveKit สายจะสิ้นสุดเมื่อ เอเจนต์ ThunderPhone วางสาย และเซสชันจะปิดพร้อมกัน

กำหนดค่าเซสชันแบบอินไลน์

หากไม่มี agent_id คำสั่งและเครื่องมือจะมาจาก LiveKit Agent เช่นเดียวกับ OpenAI model ใช้เลือกเอนจิน และ voice ใช้เลือกเสียงของ ThunderPhone

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

ThunderPhone จะล็อกคำสั่งและเครื่องมือเมื่อสายเริ่มต้น จึงไม่รองรับ update_instructions, update_tools และการส่งต่อเอเจนต์ที่เปลี่ยนสิ่งเหล่านี้ ระหว่างสาย เซสชันแบบอินไลน์ถูกควบคุมโดยไคลเอนต์: เอเจนต์จะพูดเมื่อคุณเรียก generate_reply() หรือเมื่อผู้เข้าร่วมพูดจบหนึ่งรอบ

ตัวเลือก

อาร์กิวเมนต์ความหมาย
api_keyคีย์ลับ (sk_live_...) ค่าเริ่มต้นคือ THUNDERPHONE_API_KEY
agent_idเรียกใช้เอเจนต์ที่บันทึกไว้ ใช้ร่วมกับ model และ voice ไม่ได้
modelเอนจินสำหรับเซสชันแบบอินไลน์: bolt (ยังรองรับ spark และ storm รุ่นเก่า)
voiceชื่อเสียงของ ThunderPhone สำหรับเซสชันแบบอินไลน์
languageคำใบ้ภาษาหลักสำหรับเซสชันแบบอินไลน์ เช่น es
caller_number, callee_numberหมายเลขโทรศัพท์ของสายเมื่อห้องเชื่อมต่อกับสายโทรศัพท์ หมายเลขเหล่านี้จะแสดงเป็นหมายเลขจากและถึงในประวัติการโทร
live_transcriptsสตรีมส่วนย่อยของข้อความถอดเสียงผู้โทรระหว่างที่กำลังพูด (คิดค่าบริการเพิ่มเติม)
base_urlแทนที่เอนด์พอยต์ ค่าเริ่มต้นคือ wss://api.thunderphone.com/v1/realtime

เหตุการณ์

ThunderPhone เพิ่มเหตุการณ์ของแพลตฟอร์มเหนือโปรโตคอลเรียลไทม์ เซสชัน จะส่งเหตุการณ์เหล่านี้:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

RealtimeSession จะแสดง call_id เมื่อเซสชันเริ่มใช้งาน ใช้ร่วมกับ GET /v1/calls/{call_id} เพื่อดึงข้อมูลการบันทึกเสียง ข้อความถอดเสียง และคะแนนประเมินหลังการโทร เหตุการณ์ call.* อื่นทั้งหมด (โอนสาย แป้นกด ละเว้นเสียงพูด) จะมาถึงในรูปแบบ thunderphone_call_event

ข้อจำกัด

  • การตรวจจับเทิร์นทำงานฝั่งเซิร์ฟเวอร์และเปิดใช้งานเสมอ ระบบจะละเว้นการตรวจจับเทิร์น ฝั่งเฟรมเวิร์ก (turn_detection บน AgentSession)
  • ไม่สามารถเปลี่ยนคำสั่งและเครื่องมือได้เมื่อเริ่มการโทรแล้ว
  • เสียงเป็น PCM โมโน 16 บิต ที่ 24 kHz ทั้งสองทิศทาง
  • ระบบจะละเว้นเฟรมวิดีโอ