Open in
Χρησιμοποιήστε το ThunderPhone από το LiveKit Agents
Εκτελέστε έναν φωνητικό πράκτορα ThunderPhone ως μοντέλο πραγματικού χρόνου (ομιλία σε ομιλία) μιας συνεδρίας LiveKit Agents, με δωμάτια LiveKit, SIP και τηλεφωνία γύρω του.
Το LiveKit Agents είναι ένα πλαίσιο ανοιχτού κώδικα για φωνητικούς πράκτορες σε πραγματικό χρόνο πάνω από δωμάτια LiveKit. Το ThunderPhone ενσωματώνεται ως το μοντέλο πραγματικού χρόνου: το πλαίσιο στέλνει τον ήχο του συμμετέχοντα, το ThunderPhone επιστρέφει τη φωνή του πράκτορα, απομαγνητοφωνήσεις και κλήσεις συναρτήσεων, ενώ το δωμάτιο LiveKit, τα SIP trunks και η τηλεφωνία μεταφέρουν τον ήχο. Η αναγνώριση ομιλίας, το γλωσσικό μοντέλο, η φωνή, η εναλλαγή σειράς ομιλίας, οι 62 γλώσσες και τα εργαλεία εκτελούνται όλα στο ThunderPhone.
Οι κλήσεις που πραγματοποιούνται με αυτόν τον τρόπο εμφανίζονται στο ιστορικό κλήσεων και χρεώνονται όπως κάθε άλλη κλήση σε πραγματικό χρόνο (τιμολόγηση). Δεν απαιτείται συνδρομή ούτε αριθμός τηλεφώνου ThunderPhone.
Εγκατάσταση
pip install livekit-plugins-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyΜε το uv, το uv add "livekit-agents[thunderphone]~=1.8" εγκαθιστά το ίδιο
πρόσθετο. Περιλαμβάνεται στο αποθετήριο livekit/agents
και κυκλοφορεί μαζί με το ίδιο το livekit-agents, επομένως διατηρείτε και τα δύο
στην ίδια έκδοση. Το LiveKit το τεκμηριώνει στον δικό του
οδηγό πρόσθετου ThunderPhone.
Το πρόσθετο περιβάλλει το μοντέλο OpenAI Realtime του LiveKit, επειδή το
Realtime WebSocket του ThunderPhone μιλά το ίδιο πρωτόκολλο. Απαιτεί
livekit-agents 1.8 ή νεότερο.
Εκτελέστε έναν αποθηκευμένο πράκτορα
Όλα όσα κάνει ο πράκτορας (προτροπή, φωνή, μηχανή, γλώσσες, εργαλεία, χαιρετισμός, έλεγχοι σιωπής) ρυθμίζονται στο ThunderPhone. Η συνεδρία μεταφέρει μόνο ήχο. Δημιουργήστε τον πράκτορα στον πίνακα ελέγχου ή ζητήστε από τον Zeus (τον AI πράκτορα που δημιουργεί, δοκιμάζει και βελτιστοποιεί πράκτορες ThunderPhone) να τον ρυθμίσει και, στη συνέχεια, περάστε εδώ το αναγνωριστικό του. Οι αλλαγές που αναπτύσσετε στο ThunderPhone εφαρμόζονται στην επόμενη κλήση χωρίς να αγγίξετε τον κώδικα LiveKit σας.
from livekit.agents import Agent, AgentSession, JobContext, WorkerOptions, cli
from livekit.plugins import thunderphone
async def entrypoint(ctx: JobContext):
session = AgentSession(llm=thunderphone.RealtimeModel(agent_id=12))
await session.start(agent=Agent(instructions=""), room=ctx.room)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))Ένας αποθηκευμένος πράκτορας χαιρετά και εκτελεί τα δικά του εργαλεία στο ThunderPhone· οι
οδηγίες και τα εργαλεία του Agent του LiveKit δεν αποστέλλονται. Η κλήση τερματίζεται όταν ο
πράκτορας ThunderPhone κλείνει τη γραμμή και η συνεδρία κλείνει μαζί του.
Ρυθμίστε τη συνεδρία ενσωματωμένα
Χωρίς agent_id, οι οδηγίες και τα εργαλεία προέρχονται από τον Agent του LiveKit, με τον ίδιο τρόπο όπως για το OpenAI. Το model επιλέγει τη μηχανή και το voice επιλέγει τη φωνή του ThunderPhone.
from livekit.agents import Agent, AgentSession, RunContext, function_tool
from livekit.plugins import thunderphone
class Receptionist(Agent):
def __init__(self):
super().__init__(instructions="You are Acme Dental's receptionist. Be brief.")
@function_tool
async def check_availability(self, context: RunContext, date: str) -> dict:
"""Free appointment slots on a date."""
return {"slots": await calendar.free_slots(date)}
async def entrypoint(ctx: JobContext):
session = AgentSession(
llm=thunderphone.RealtimeModel(model="bolt", voice="olivia", language="es"),
)
await session.start(agent=Receptionist(), room=ctx.room)
await session.generate_reply() # the agent speaks firstΤο ThunderPhone κλειδώνει τις οδηγίες και τα εργαλεία όταν ξεκινά η κλήση, επομένως τα
update_instructions, update_tools και οι μεταβιβάσεις πράκτορα που τα αλλάζουν δεν
υποστηρίζονται κατά τη διάρκεια της κλήσης. Οι ενσωματωμένες συνεδρίες καθοδηγούνται από τον πελάτη:
ο πράκτορας μιλά όταν καλείτε το generate_reply() ή όταν ο συμμετέχων ολοκληρώνει έναν γύρο ομιλίας.
Επιλογές
| Όρισμα | Σημασία |
|---|---|
api_key | Μυστικό κλειδί (sk_live_...). Η προεπιλογή είναι THUNDERPHONE_API_KEY. |
agent_id | Εκτελέστε έναν αποθηκευμένο πράκτορα. Αμοιβαία αποκλειόμενο με τα model και voice. |
model | Μηχανή για ενσωματωμένες συνεδρίες: bolt (τα παλαιότερα spark και storm εξακολουθούν να υποστηρίζονται). |
voice | Όνομα φωνής ThunderPhone για ενσωματωμένες συνεδρίες. |
language | Υπόδειξη κύριας γλώσσας για ενσωματωμένες συνεδρίες, π.χ. es. |
caller_number, callee_number | Αριθμοί τηλεφώνου της κλήσης όταν το δωμάτιο εξυπηρετεί μια τηλεφωνική γραμμή. Εμφανίζονται ως αριθμοί από και προς στο ιστορικό κλήσεων. |
live_transcripts | Μεταδώστε τμήματα απομαγνητοφώνησης του καλούντος κατά τη διάρκεια της εκφώνησης (επιπλέον χρέωση). |
base_url | Παράκαμψη τελικού σημείου, με προεπιλογή wss://api.thunderphone.com/v1/realtime. |
Συμβάντα
Το ThunderPhone προσθέτει συμβάντα πλατφόρμας πάνω από το πρωτόκολλο πραγματικού χρόνου. Η συνεδρία τα εκπέμπει:
@session.llm.session.on("thunderphone_call_ended") # or on the RealtimeSession you hold
def on_call_ended(event):
print("call ended:", event["reason"])Το RealtimeSession εκθέτει το call_id μόλις η συνεδρία είναι ενεργή. Χρησιμοποιήστε το με
το GET /v1/calls/{call_id} για να ανακτήσετε την εγγραφή,
την απομαγνητοφώνηση και την αξιολόγηση μετά την κλήση. Κάθε άλλο συμβάν call.* (μεταφορά,
πληκτρολόγιο, αγνοημένη ομιλία) φτάνει ως thunderphone_call_event.
Περιορισμοί
- Η ανίχνευση εναλλαγής σειράς ομιλίας γίνεται στην πλευρά του διακομιστή και είναι πάντα ενεργή· η ανίχνευση εναλλαγής σειράς ομιλίας στην πλευρά του πλαισίου
(
turn_detectionστοAgentSession) αγνοείται. - Οι οδηγίες και τα εργαλεία δεν μπορούν να αλλάξουν μόλις ξεκινήσει η κλήση.
- Ο ήχος είναι PCM μονοφωνικός 16-bit στα 24 kHz και προς τις δύο κατευθύνσεις.
- Τα καρέ βίντεο αγνοούνται.