Open in
Pipecat-ൽ നിന്ന് ThunderPhone ഉപയോഗിക്കുക
നിങ്ങളുടെ സ്വന്തം ട്രാൻസ്പോർട്ടും ടെലിഫോണിയും ഉപയോഗിച്ച്, Pipecat പൈപ്പ്ലൈനിനുള്ളിലെ സ്പീച്ച്-ടു-സ്പീച്ച് സേവനമായി ThunderPhone വോയ്സ് ഏജന്റ് പ്രവർത്തിപ്പിക്കുക.
Pipecat കോമ്പോസ് ചെയ്യാവുന്ന സേവനങ്ങളിൽ നിന്ന് വോയ്സ് ഏജന്റുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഒരു ഓപ്പൺ-സോഴ്സ് ഫ്രെയിംവർക്കാണ്. ThunderPhone ഒരു സ്പീച്ച്-ടു-സ്പീച്ച് LLM സേവനമായി പ്ലഗ് ഇൻ ചെയ്യുന്നു: Pipecat കോളറുടെ ഓഡിയോ അയയ്ക്കുന്നു, ThunderPhone ഏജന്റിന്റെ ശബ്ദം, ട്രാൻസ്ക്രിപ്റ്റുകൾ, ഫംഗ്ഷൻ കോളുകൾ എന്നിവ തിരികെ നൽകുന്നു, Pipecat-ന്റെ ട്രാൻസ്പോർട്ട് (Daily, LiveKit, Twilio, WebRTC, ഒരു ലോക്കൽ മൈക്രോഫോൺ) ഓഡിയോ വഹിക്കുന്നു. സ്പീച്ച് റെക്കഗ്നിഷൻ, ഭാഷാ മോഡൽ, ശബ്ദം, ടേൺ-ടേക്കിംഗ്, 62 ഭാഷകൾ, ടൂളുകൾ എന്നിവയെല്ലാം ThunderPhone-ലാണ് പ്രവർത്തിക്കുന്നത്.
ഈ രീതിയിൽ നടത്തിയ കോളുകൾ കോൾ ചരിത്രത്തിൽ കാണപ്പെടുകയും മറ്റേതൊരു തത്സമയ കോളിനെയും പോലെ ബിൽ ചെയ്യപ്പെടുകയും ചെയ്യും (വിലനിർണയം). സബ്സ്ക്രിപ്ഷനും ThunderPhone ഫോൺ നമ്പറും ആവശ്യമില്ല.
ഇൻസ്റ്റാൾ ചെയ്യുക
pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_... # a secret API keyThunderPhone-ന്റെ തത്സമയ WebSocket അതേ പ്രോട്ടോക്കോൾ ഉപയോഗിക്കുന്നതിനാൽ, പാക്കേജ് Pipecat-ന്റെ OpenAI Realtime സേവനത്തെ റാപ്പ് ചെയ്യുന്നു. ഇതിന് pipecat-ai 1.8 അല്ലെങ്കിൽ അതിന് ശേഷമുള്ള പതിപ്പ് ആവശ്യമാണ്.
സംരക്ഷിച്ച ഏജന്റ് പ്രവർത്തിപ്പിക്കുക
ഏജന്റ് ചെയ്യുന്ന എല്ലാം (prompt, ശബ്ദം, എഞ്ചിൻ, ഭാഷകൾ, ടൂളുകൾ, അഭിവാദ്യം, നിശ്ശബ്ദത പരിശോധനകൾ) ThunderPhone-ൽ കോൺഫിഗർ ചെയ്യപ്പെടുന്നു. പൈപ്പ്ലൈൻ ഓഡിയോ മാത്രം കൈമാറുന്നു. ഡാഷ്ബോർഡിൽ ഏജന്റിനെ നിർമ്മിക്കുക, അല്ലെങ്കിൽ ThunderPhone ഏജന്റുമാരെ നിർമ്മിക്കുകയും പരിശോധിക്കുകയും ട്യൂൺ ചെയ്യുകയും ചെയ്യുന്ന AI ഏജന്റായ Zeus-നെ ഉപയോഗിച്ച് അത് സജ്ജീകരിക്കുക, തുടർന്ന് അതിന്റെ ID ഇവിടെ നൽകുക. നിങ്ങളുടെ പൈപ്പ്ലൈനിൽ മാറ്റം വരുത്താതെ ThunderPhone-ൽ നിങ്ങൾ ഡിപ്ലോയ് ചെയ്യുന്ന മാറ്റങ്ങൾ അടുത്ത കോളിൽ പ്രയോഗിക്കപ്പെടും.
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
transport.input(),
aggregators.user(),
llm,
aggregators.assistant(),
transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))സംരക്ഷിച്ച ഏജന്റ് സ്വന്തം ഷെഡ്യൂളിൽ കോൾ ആരംഭിക്കുന്നു, അതിനാൽ സേവനം Pipecat-നോട് ഒരു ആരംഭ പ്രതികരണം അഭ്യർത്ഥിക്കില്ല. എന്നിരുന്നാലും അത് വേണമെങ്കിൽ greet_on_connect=True നൽകുക.
സെഷൻ ഇൻലൈനായി കോൺഫിഗർ ചെയ്യുക
agent_id ഇല്ലാതെ, OpenAI-യിൽ ചെയ്യുന്നതുപോലെ നിർദേശങ്ങളും ടൂളുകളും Pipecat കോൺടെക്സ്റ്റിൽനിന്ന് ലഭിക്കുന്നു. product എഞ്ചിൻ തിരഞ്ഞെടുക്കുകയും voice ThunderPhone ശബ്ദം തിരഞ്ഞെടുക്കുകയും ചെയ്യുന്നു.
from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
async def check_availability(params: FunctionCallParams):
slots = await calendar.free_slots(params.arguments["date"])
await params.result_callback({"slots": slots})
llm.register_function("check_availability", check_availability)
context = LLMContext(
messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
tools=ToolsSchema(standard_tools=[
FunctionSchema(
name="check_availability",
description="Free appointment slots on a date",
properties={"date": {"type": "string"}},
required=["date"],
)
]),
)ഇൻലൈൻ സെഷനുകൾ ക്ലയന്റ്-നിയന്ത്രിതമാണ്: കോൺടെക്സ്റ്റ് എത്തുമ്പോൾ Pipecat പ്രതികരണം അഭ്യർത്ഥിക്കുന്നതിനാൽ ഏജന്റ് ആദ്യം സംസാരിക്കുന്നു, കൂടാതെ നിങ്ങൾ ഒരു സന്ദേശം ചേർക്കുകയോ മറ്റൊരു പ്രതികരണം അഭ്യർത്ഥിക്കുകയോ ചെയ്യാത്ത പക്ഷം നിശ്ശബ്ദതയിൽ മിണ്ടാതിരിക്കും.
ഓപ്ഷനുകൾ
| ആർഗ്യുമെന്റ് | അർത്ഥം |
|---|---|
api_key | രഹസ്യ കീ (sk_live_...). സ്ഥിരസ്ഥിതി THUNDERPHONE_API_KEY ആണ്. |
agent_id | സംരക്ഷിച്ച ഏജന്റ് പ്രവർത്തിപ്പിക്കുക. product, voice എന്നിവയ്ക്കൊപ്പം ഉപയോഗിക്കാനാകില്ല. |
product | ഇൻലൈൻ സെഷനുകൾക്കുള്ള എൻജിൻ: bolt (പഴയ spark, storm എന്നിവയും ഇപ്പോഴും സ്വീകരിക്കുന്നു). |
voice | ഇൻലൈൻ സെഷനുകൾക്കുള്ള ThunderPhone വോയ്സ് പേര്. |
language | ഇൻലൈൻ സെഷനുകൾക്കായുള്ള പ്രാഥമിക ഭാഷാ സൂചന, ഉദാഹരണത്തിന് es. |
from_number, to_number | പൈപ്പ്ലൈൻ ഫോൺ ലൈനിന് മുന്നിലായിരിക്കുമ്പോൾ കോളിൽ രേഖപ്പെടുത്തേണ്ട നമ്പറുകൾ. |
live_transcripts | ഉച്ചാരണത്തിനിടയിൽ കോളറുടെ ട്രാൻസ്ക്രിപ്റ്റ് ഭാഗങ്ങൾ സ്ട്രീം ചെയ്യുക (അധിക നിരക്ക് ബാധകം). |
greet_on_connect | സെഷൻ തയ്യാറായ ഉടൻ ആദ്യ പ്രതികരണം അഭ്യർത്ഥിക്കുക. |
end_task_on_call_ended | ThunderPhone കോൾ അവസാനിപ്പിക്കുമ്പോൾ EndWorkerFrame പുഷ് ചെയ്യുക (സ്ഥിരസ്ഥിതിയായി ഓൺ). |
ഇവന്റുകൾ
ThunderPhone റിയൽടൈം പ്രോട്ടോക്കോളിന് മുകളിൽ പ്ലാറ്റ്ഫോം ഇവന്റുകൾ ചേർക്കുന്നു. സേവനം അവ ഹാൻഡ്ലറുകളിലേക്ക് കൈമാറുന്നു:
@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
print("call ended:", event["reason"], "call id:", service.call_id)സെഷൻ ലൈവ് ആയിക്കഴിഞ്ഞാൽ service.call_id സജ്ജമാകും. കോൾ കഴിഞ്ഞ് റെക്കോർഡിംഗ്,
ട്രാൻസ്ക്രിപ്റ്റ്, ഗ്രേഡ് എന്നിവ ലഭ്യമാക്കാൻ ഇത്
GET /v1/calls/{call_id} ഉപയോഗിച്ച് പ്രയോജനപ്പെടുത്തുക.
പരിധികൾ
- ടേൺ കണ്ടെത്തൽ സെർവർ-സൈഡിലാണ്, എപ്പോഴും ഓണാണ്; Pipecat നിയന്ത്രിക്കുന്ന ടേണുകൾ
(
turn_detection=False) പിന്തുണയ്ക്കുന്നില്ല. - സേവനത്തിൽ രജിസ്റ്റർ ചെയ്ത ഫംഗ്ഷനുകൾ ഇൻലൈൻ സെഷനുകളിൽ മാത്രം പ്രവർത്തിക്കും. സേവ് ചെയ്ത ഏജന്റ് ThunderPhone-ൽ സ്വന്തം ടൂളുകൾ പ്രവർത്തിപ്പിക്കുന്നു.
- രണ്ട് ദിശകളിലും ഓഡിയോ 24 kHz-ൽ 16-ബിറ്റ് മോണോ PCM ആണ്.
- വീഡിയോ ഫ്രെയിമുകൾ അവഗണിക്കുന്നു.