Το ThunderPhone v3 είναι πλέον διαθέσιμο.Ξεκινήστε μόνοι σας, από 2¢/λεπτό.Διαβάστε την ανακοίνωση

Connect tools & data

Χρησιμοποιήστε το ThunderPhone από το LiveKit Agents

Εκτελέστε έναν φωνητικό πράκτορα ThunderPhone ως μοντέλο πραγματικού χρόνου (ομιλία σε ομιλία) μιας συνεδρίας LiveKit Agents, με δωμάτια LiveKit, SIP και τηλεφωνία γύρω του.

Το LiveKit Agents είναι ένα πλαίσιο ανοιχτού κώδικα για φωνητικούς πράκτορες σε πραγματικό χρόνο πάνω από δωμάτια LiveKit. Το ThunderPhone ενσωματώνεται ως το μοντέλο πραγματικού χρόνου: το πλαίσιο στέλνει τον ήχο του συμμετέχοντα, το ThunderPhone επιστρέφει τη φωνή του πράκτορα, απομαγνητοφωνήσεις και κλήσεις συναρτήσεων, ενώ το δωμάτιο LiveKit, τα SIP trunks και η τηλεφωνία μεταφέρουν τον ήχο. Η αναγνώριση ομιλίας, το γλωσσικό μοντέλο, η φωνή, η εναλλαγή σειράς ομιλίας, οι 62 γλώσσες και τα εργαλεία εκτελούνται όλα στο ThunderPhone.

Οι κλήσεις που πραγματοποιούνται με αυτόν τον τρόπο εμφανίζονται στο ιστορικό κλήσεων και χρεώνονται όπως κάθε άλλη κλήση σε πραγματικό χρόνο (τιμολόγηση). Δεν απαιτείται συνδρομή ούτε αριθμός τηλεφώνου ThunderPhone.

Εγκατάσταση

pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

Με το uv, το uv add "livekit-agents[thunderphone]~=1.8" εγκαθιστά το ίδιο πρόσθετο. Περιλαμβάνεται στο αποθετήριο livekit/agents και κυκλοφορεί μαζί με το ίδιο το livekit-agents, επομένως διατηρείτε και τα δύο στην ίδια έκδοση. Το LiveKit το τεκμηριώνει στον δικό του οδηγό πρόσθετου ThunderPhone.

Το πρόσθετο περιβάλλει το μοντέλο OpenAI Realtime του LiveKit, επειδή το Realtime WebSocket του ThunderPhone μιλά το ίδιο πρωτόκολλο. Απαιτεί livekit-agents 1.8 ή νεότερο.

Εκτελέστε έναν αποθηκευμένο πράκτορα

Όλα όσα κάνει ο πράκτορας (προτροπή, φωνή, μηχανή, γλώσσες, εργαλεία, χαιρετισμός, έλεγχοι σιωπής) ρυθμίζονται στο ThunderPhone. Η συνεδρία μεταφέρει μόνο ήχο. Δημιουργήστε τον πράκτορα στον πίνακα ελέγχου ή ζητήστε από τον Zeus (τον AI πράκτορα που δημιουργεί, δοκιμάζει και βελτιστοποιεί πράκτορες ThunderPhone) να τον ρυθμίσει και, στη συνέχεια, περάστε εδώ το αναγνωριστικό του. Οι αλλαγές που αναπτύσσετε στο ThunderPhone εφαρμόζονται στην επόμενη κλήση χωρίς να αγγίξετε τον κώδικα LiveKit σας.

from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
    await session.start(agent=Agent(instructions=""), room=ctx.room)
 
 
if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

Ένας αποθηκευμένος πράκτορας χαιρετά και εκτελεί τα δικά του εργαλεία στο ThunderPhone· οι οδηγίες και τα εργαλεία του Agent του LiveKit δεν αποστέλλονται. Η κλήση τερματίζεται όταν ο πράκτορας ThunderPhone κλείνει τη γραμμή και η συνεδρία κλείνει μαζί του.

Ρυθμίστε τη συνεδρία ενσωματωμένα

Χωρίς agent_id, οι οδηγίες και τα εργαλεία προέρχονται από τον Agent του LiveKit, με τον ίδιο τρόπο όπως για το OpenAI. Το model επιλέγει τη μηχανή και το voice επιλέγει τη φωνή του ThunderPhone.

from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
 
 
class Receptionist(Agent):
    def __init__(self):
        super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
 
    @function_tool
    async def check_availability(self, context: RunContext, date: str) -> dict:
        """Free appointment slots on a date."""
        return {"slots": await calendar.free_slots(date)}
 
 
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
    )
    await session.start(agent=Receptionist(), room=ctx.room)
    await session.generate_reply()   # the agent speaks first

Το ThunderPhone κλειδώνει τις οδηγίες και τα εργαλεία όταν ξεκινά η κλήση, επομένως τα update_instructions, update_tools και οι μεταβιβάσεις πράκτορα που τα αλλάζουν δεν υποστηρίζονται κατά τη διάρκεια της κλήσης. Οι ενσωματωμένες συνεδρίες καθοδηγούνται από τον πελάτη: ο πράκτορας μιλά όταν καλείτε το generate_reply() ή όταν ο συμμετέχων ολοκληρώνει έναν γύρο ομιλίας.

Επιλογές

ΌρισμαΣημασία
api_keyΜυστικό κλειδί (sk_live_...). Η προεπιλογή είναι THUNDERPHONE_API_KEY.
agent_idΕκτελέστε έναν αποθηκευμένο πράκτορα. Αμοιβαία αποκλειόμενο με τα model και voice.
modelΜηχανή για ενσωματωμένες συνεδρίες: bolt (τα παλαιότερα spark και storm εξακολουθούν να υποστηρίζονται).
voiceΌνομα φωνής ThunderPhone για ενσωματωμένες συνεδρίες.
languageΥπόδειξη κύριας γλώσσας για ενσωματωμένες συνεδρίες, π.χ. es.
caller_number, callee_numberΑριθμοί τηλεφώνου της κλήσης όταν το δωμάτιο εξυπηρετεί μια τηλεφωνική γραμμή. Εμφανίζονται ως αριθμοί από και προς στο ιστορικό κλήσεων.
live_transcriptsΜεταδώστε τμήματα απομαγνητοφώνησης του καλούντος κατά τη διάρκεια της εκφώνησης (επιπλέον χρέωση).
base_urlΠαράκαμψη τελικού σημείου, με προεπιλογή wss://api.thunderphone.com/v1/realtime.

Συμβάντα

Το ThunderPhone προσθέτει συμβάντα πλατφόρμας πάνω από το πρωτόκολλο πραγματικού χρόνου. Η συνεδρία τα εκπέμπει:

@session.llm.session.on("thunderphone_call_ended")  # or on the RealtimeSession you hold
def on_call_ended(event):
    print("call ended:", event["reason"])

Το RealtimeSession εκθέτει το call_id μόλις η συνεδρία είναι ενεργή. Χρησιμοποιήστε το με το GET /v1/calls/{call_id} για να ανακτήσετε την εγγραφή, την απομαγνητοφώνηση και την αξιολόγηση μετά την κλήση. Κάθε άλλο συμβάν call.* (μεταφορά, πληκτρολόγιο, αγνοημένη ομιλία) φτάνει ως thunderphone_call_event.

Περιορισμοί

  • Η ανίχνευση εναλλαγής σειράς ομιλίας γίνεται στην πλευρά του διακομιστή και είναι πάντα ενεργή· η ανίχνευση εναλλαγής σειράς ομιλίας στην πλευρά του πλαισίου (turn_detection στο AgentSession) αγνοείται.
  • Οι οδηγίες και τα εργαλεία δεν μπορούν να αλλάξουν μόλις ξεκινήσει η κλήση.
  • Ο ήχος είναι PCM μονοφωνικός 16-bit στα 24 kHz και προς τις δύο κατευθύνσεις.
  • Τα καρέ βίντεο αγνοούνται.