ThunderPhone v3 ഇപ്പോൾ ലൈവാണ്.സ്വയം തുടങ്ങാം — 2¢/മിനിറ്റ് മുതൽ.പ്രഖ്യാപനം വായിക്കുക

Connect tools & data

Pipecat-ൽ നിന്ന് ThunderPhone ഉപയോഗിക്കുക

നിങ്ങളുടെ സ്വന്തം ട്രാൻസ്‌പോർട്ടും ടെലിഫോണിയും ഉപയോഗിച്ച്, Pipecat പൈപ്പ്‌ലൈനിനുള്ളിലെ സ്പീച്ച്-ടു-സ്പീച്ച് സേവനമായി ThunderPhone വോയ്‌സ് ഏജന്റ് പ്രവർത്തിപ്പിക്കുക.

Pipecat കോമ്പോസ് ചെയ്യാവുന്ന സേവനങ്ങളിൽ നിന്ന് വോയ്സ് ഏജന്റുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഒരു ഓപ്പൺ-സോഴ്സ് ഫ്രെയിംവർക്കാണ്. ThunderPhone ഒരു സ്പീച്ച്-ടു-സ്പീച്ച് LLM സേവനമായി പ്ലഗ് ഇൻ ചെയ്യുന്നു: Pipecat കോളറുടെ ഓഡിയോ അയയ്ക്കുന്നു, ThunderPhone ഏജന്റിന്റെ ശബ്ദം, ട്രാൻസ്ക്രിപ്റ്റുകൾ, ഫംഗ്ഷൻ കോളുകൾ എന്നിവ തിരികെ നൽകുന്നു, Pipecat-ന്റെ ട്രാൻസ്പോർട്ട് (Daily, LiveKit, Twilio, WebRTC, ഒരു ലോക്കൽ മൈക്രോഫോൺ) ഓഡിയോ വഹിക്കുന്നു. സ്പീച്ച് റെക്കഗ്നിഷൻ, ഭാഷാ മോഡൽ, ശബ്ദം, ടേൺ-ടേക്കിംഗ്, 62 ഭാഷകൾ, ടൂളുകൾ എന്നിവയെല്ലാം ThunderPhone-ലാണ് പ്രവർത്തിക്കുന്നത്.

ഈ രീതിയിൽ നടത്തിയ കോളുകൾ കോൾ ചരിത്രത്തിൽ കാണപ്പെടുകയും മറ്റേതൊരു തത്സമയ കോളിനെയും പോലെ ബിൽ ചെയ്യപ്പെടുകയും ചെയ്യും (വിലനിർണയം). സബ്‌സ്‌ക്രിപ്ഷനും ThunderPhone ഫോൺ നമ്പറും ആവശ്യമില്ല.

ഇൻസ്റ്റാൾ ചെയ്യുക

pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

ThunderPhone-ന്റെ തത്സമയ WebSocket അതേ പ്രോട്ടോക്കോൾ ഉപയോഗിക്കുന്നതിനാൽ, പാക്കേജ് Pipecat-ന്റെ OpenAI Realtime സേവനത്തെ റാപ്പ് ചെയ്യുന്നു. ഇതിന് pipecat-ai 1.8 അല്ലെങ്കിൽ അതിന് ശേഷമുള്ള പതിപ്പ് ആവശ്യമാണ്.

സംരക്ഷിച്ച ഏജന്റ് പ്രവർത്തിപ്പിക്കുക

ഏജന്റ് ചെയ്യുന്ന എല്ലാം (prompt, ശബ്ദം, എഞ്ചിൻ, ഭാഷകൾ, ടൂളുകൾ, അഭിവാദ്യം, നിശ്ശബ്ദത പരിശോധനകൾ) ThunderPhone-ൽ കോൺഫിഗർ ചെയ്യപ്പെടുന്നു. പൈപ്പ്‌ലൈൻ ഓഡിയോ മാത്രം കൈമാറുന്നു. ഡാഷ്‌ബോർഡിൽ ഏജന്റിനെ നിർമ്മിക്കുക, അല്ലെങ്കിൽ ThunderPhone ഏജന്റുമാരെ നിർമ്മിക്കുകയും പരിശോധിക്കുകയും ട്യൂൺ ചെയ്യുകയും ചെയ്യുന്ന AI ഏജന്റായ Zeus-നെ ഉപയോഗിച്ച് അത് സജ്ജീകരിക്കുക, തുടർന്ന് അതിന്റെ ID ഇവിടെ നൽകുക. നിങ്ങളുടെ പൈപ്പ്‌ലൈനിൽ മാറ്റം വരുത്താതെ ThunderPhone-ൽ നിങ്ങൾ ഡിപ്ലോയ് ചെയ്യുന്ന മാറ്റങ്ങൾ അടുത്ത കോളിൽ പ്രയോഗിക്കപ്പെടും.

from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
 
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
 
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
    transport.input(),
    aggregators.user(),
    llm,
    aggregators.assistant(),
    transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))

സംരക്ഷിച്ച ഏജന്റ് സ്വന്തം ഷെഡ്യൂളിൽ കോൾ ആരംഭിക്കുന്നു, അതിനാൽ സേവനം Pipecat-നോട് ഒരു ആരംഭ പ്രതികരണം അഭ്യർത്ഥിക്കില്ല. എന്നിരുന്നാലും അത് വേണമെങ്കിൽ greet_on_connect=True നൽകുക.

സെഷൻ ഇൻലൈനായി കോൺഫിഗർ ചെയ്യുക

agent_id ഇല്ലാതെ, OpenAI-യിൽ ചെയ്യുന്നതുപോലെ നിർദേശങ്ങളും ടൂളുകളും Pipecat കോൺടെക്സ്റ്റിൽനിന്ന് ലഭിക്കുന്നു. product എഞ്ചിൻ തിരഞ്ഞെടുക്കുകയും voice ThunderPhone ശബ്ദം തിരഞ്ഞെടുക്കുകയും ചെയ്യുന്നു.

from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
 
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
 
async def check_availability(params: FunctionCallParams):
    slots = await calendar.free_slots(params.arguments["date"])
    await params.result_callback({"slots": slots})
 
llm.register_function("check_availability", check_availability)
 
context = LLMContext(
    messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
    tools=ToolsSchema(standard_tools=[
        FunctionSchema(
            name="check_availability",
            description="Free appointment slots on a date",
            properties={"date": {"type": "string"}},
            required=["date"],
        )
    ]),
)

ഇൻലൈൻ സെഷനുകൾ ക്ലയന്റ്-നിയന്ത്രിതമാണ്: കോൺടെക്സ്റ്റ് എത്തുമ്പോൾ Pipecat പ്രതികരണം അഭ്യർത്ഥിക്കുന്നതിനാൽ ഏജന്റ് ആദ്യം സംസാരിക്കുന്നു, കൂടാതെ നിങ്ങൾ ഒരു സന്ദേശം ചേർക്കുകയോ മറ്റൊരു പ്രതികരണം അഭ്യർത്ഥിക്കുകയോ ചെയ്യാത്ത പക്ഷം നിശ്ശബ്ദതയിൽ മിണ്ടാതിരിക്കും.

ഓപ്ഷനുകൾ

ആർഗ്യുമെന്റ്അർത്ഥം
api_keyരഹസ്യ കീ (sk_live_...). സ്ഥിരസ്ഥിതി THUNDERPHONE_API_KEY ആണ്.
agent_idസംരക്ഷിച്ച ഏജന്റ് പ്രവർത്തിപ്പിക്കുക. product, voice എന്നിവയ്‌ക്കൊപ്പം ഉപയോഗിക്കാനാകില്ല.
productഇൻലൈൻ സെഷനുകൾക്കുള്ള എൻജിൻ: bolt (പഴയ spark, storm എന്നിവയും ഇപ്പോഴും സ്വീകരിക്കുന്നു).
voiceഇൻലൈൻ സെഷനുകൾക്കുള്ള ThunderPhone വോയ്സ് പേര്.
languageഇൻലൈൻ സെഷനുകൾക്കായുള്ള പ്രാഥമിക ഭാഷാ സൂചന, ഉദാഹരണത്തിന് es.
from_number, to_numberപൈപ്പ്‌ലൈൻ ഫോൺ ലൈനിന് മുന്നിലായിരിക്കുമ്പോൾ കോളിൽ രേഖപ്പെടുത്തേണ്ട നമ്പറുകൾ.
live_transcriptsഉച്ചാരണത്തിനിടയിൽ കോളറുടെ ട്രാൻസ്ക്രിപ്റ്റ് ഭാഗങ്ങൾ സ്ട്രീം ചെയ്യുക (അധിക നിരക്ക് ബാധകം).
greet_on_connectസെഷൻ തയ്യാറായ ഉടൻ ആദ്യ പ്രതികരണം അഭ്യർത്ഥിക്കുക.
end_task_on_call_endedThunderPhone കോൾ അവസാനിപ്പിക്കുമ്പോൾ EndWorkerFrame പുഷ് ചെയ്യുക (സ്ഥിരസ്ഥിതിയായി ഓൺ).

ഇവന്റുകൾ

ThunderPhone റിയൽടൈം പ്രോട്ടോക്കോളിന് മുകളിൽ പ്ലാറ്റ്ഫോം ഇവന്റുകൾ ചേർക്കുന്നു. സേവനം അവ ഹാൻഡ്‌ലറുകളിലേക്ക് കൈമാറുന്നു:

@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
    print("call ended:", event["reason"], "call id:", service.call_id)

സെഷൻ ലൈവ് ആയിക്കഴിഞ്ഞാൽ service.call_id സജ്ജമാകും. കോൾ കഴിഞ്ഞ് റെക്കോർഡിംഗ്, ട്രാൻസ്ക്രിപ്റ്റ്, ഗ്രേഡ് എന്നിവ ലഭ്യമാക്കാൻ ഇത് GET /v1/calls/{call_id} ഉപയോഗിച്ച് പ്രയോജനപ്പെടുത്തുക.

പരിധികൾ

  • ടേൺ കണ്ടെത്തൽ സെർവർ-സൈഡിലാണ്, എപ്പോഴും ഓണാണ്; Pipecat നിയന്ത്രിക്കുന്ന ടേണുകൾ (turn_detection=False) പിന്തുണയ്ക്കുന്നില്ല.
  • സേവനത്തിൽ രജിസ്റ്റർ ചെയ്ത ഫംഗ്ഷനുകൾ ഇൻലൈൻ സെഷനുകളിൽ മാത്രം പ്രവർത്തിക്കും. സേവ് ചെയ്ത ഏജന്റ് ThunderPhone-ൽ സ്വന്തം ടൂളുകൾ പ്രവർത്തിപ്പിക്കുന്നു.
  • രണ്ട് ദിശകളിലും ഓഡിയോ 24 kHz-ൽ 16-ബിറ്റ് മോണോ PCM ആണ്.
  • വീഡിയോ ഫ്രെയിമുകൾ അവഗണിക്കുന്നു.