ThunderPhone v3 এখন লাইভ।নিজেই ব্যবহার শুরু করুন, 2¢/মিনিট থেকে।ঘোষণাটি পড়ুন

Connect tools & data

Pipecat থেকে ThunderPhone ব্যবহার করুন

আপনার নিজস্ব ট্রান্সপোর্ট ও টেলিফোনি সহ একটি Pipecat পাইপলাইনের মধ্যে স্পিচ-টু-স্পিচ সার্ভিস হিসেবে একটি ThunderPhone ভয়েস এজেন্ট চালান।

Pipecat হলো কম্পোজেবল সার্ভিস দিয়ে ভয়েস এজেন্ট তৈরির জন্য একটি ওপেন-সোর্স ফ্রেমওয়ার্ক। ThunderPhone একটি স্পিচ-টু-স্পিচ LLM সার্ভিস হিসেবে প্লাগ ইন হয়: Pipecat কলারের অডিও পাঠায়, ThunderPhone এজেন্টের ভয়েস, ট্রান্সক্রিপ্ট এবং ফাংশন কল ফেরত দেয়, আর Pipecat-এর ট্রান্সপোর্ট (Daily, LiveKit, Twilio, WebRTC, একটি লোকাল মাইক্রোফোন) অডিও বহন করে। স্পিচ রিকগনিশন, ভাষা মডেল, ভয়েস, টার্ন-টেকিং, 62টি ভাষা এবং টুল—সবই ThunderPhone-এ চলে।

এভাবে করা কল কল ইতিহাসে দেখা যায় এবং অন্য যেকোনো রিয়েলটাইম কলের মতো বিল করা হয় (মূল্য নির্ধারণ)। এতে কোনো সাবস্ক্রিপশন বা ThunderPhone ফোন নম্বর জড়িত নেই।

ইনস্টল করুন

pip install pipecat-thunderphone
export THUNDERPHONE_API_KEY=sk_live_...   # a secret API key

প্যাকেজটি Pipecat-এর OpenAI Realtime সার্ভিসকে র‍্যাপ করে, কারণ ThunderPhone-এর Realtime WebSocket একই প্রোটোকলে কথা বলে। এর জন্য pipecat-ai 1.8 বা নতুন সংস্করণ প্রয়োজন।

একটি সংরক্ষিত এজেন্ট চালান

এজেন্ট যা কিছু করে (prompt, ভয়েস, ইঞ্জিন, ভাষা, টুল, অভিবাদন, নীরবতা চেক-ইন) সবই ThunderPhone-এ কনফিগার করা হয়। পাইপলাইন শুধু অডিও সরায়। ড্যাশবোর্ডে এজেন্ট তৈরি করুন, অথবা Zeus-কে (ThunderPhone এজেন্ট তৈরি, পরীক্ষা ও টিউন করে এমন AI এজেন্ট) এটি সেট আপ করতে দিন, তারপর এর ID এখানে দিন। আপনি ThunderPhone-এ যে পরিবর্তন ডিপ্লয় করেন, তা আপনার পাইপলাইন স্পর্শ না করেই পরবর্তী কলে প্রযোজ্য হবে।

from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.worker import PipelineParams, PipelineWorker
from pipecat.processors.aggregators.llm_context import LLMContext
from pipecat.processors.aggregators.llm_response_universal import LLMContextAggregatorPair
from pipecat_thunderphone import ThunderPhoneRealtimeLLMService
 
llm = ThunderPhoneRealtimeLLMService(agent_id=12)
 
context = LLMContext()
aggregators = LLMContextAggregatorPair(context)
pipeline = Pipeline([
    transport.input(),
    aggregators.user(),
    llm,
    aggregators.assistant(),
    transport.output(),
])
worker = PipelineWorker(pipeline, params=PipelineParams(allow_interruptions=True))

একটি সংরক্ষিত এজেন্ট নিজের সময়সূচি অনুযায়ী কল শুরু করে, তাই সার্ভিসটি Pipecat-এর কাছ থেকে প্রারম্ভিক প্রতিক্রিয়া অনুরোধ করে না। তবুও একটি চাইলে greet_on_connect=True দিন।

ইনলাইনে সেশন কনফিগার করুন

agent_id ছাড়া, নির্দেশনা ও টুল Pipecat কনটেক্সট থেকে আসে, OpenAI-এর ক্ষেত্রেও যেভাবে আসে। product ইঞ্জিন বেছে নেয় এবং voice ThunderPhone-এর কণ্ঠস্বর বেছে নেয়।

from pipecat.adapters.schemas.function_schema import FunctionSchema
from pipecat.adapters.schemas.tools_schema import ToolsSchema
from pipecat.services.llm_service import FunctionCallParams
 
llm = ThunderPhoneRealtimeLLMService(product="bolt", voice="olivia", language="es")
 
async def check_availability(params: FunctionCallParams):
    slots = await calendar.free_slots(params.arguments["date"])
    await params.result_callback({"slots": slots})
 
llm.register_function("check_availability", check_availability)
 
context = LLMContext(
    messages=[{"role": "system", "content": "You are Acme Dental's receptionist."}],
    tools=ToolsSchema(standard_tools=[
        FunctionSchema(
            name="check_availability",
            description="Free appointment slots on a date",
            properties={"date": {"type": "string"}},
            required=["date"],
        )
    ]),
)

ইনলাইন সেশন ক্লায়েন্ট-নিয়ন্ত্রিত: কনটেক্সট আসার সময় Pipecat প্রতিক্রিয়া অনুরোধ করে বলে এজেন্ট আগে কথা বলে, এবং আপনি কোনো বার্তা যোগ না করলে বা আরেকটি প্রতিক্রিয়া অনুরোধ না করলে নীরবতার সময় চুপ থাকে।

বিকল্পসমূহ

আর্গুমেন্টঅর্থ
api_keyগোপন কী (sk_live_...)। ডিফল্ট হিসেবে THUNDERPHONE_API_KEY ব্যবহৃত হয়।
agent_idএকটি সংরক্ষিত এজেন্ট চালান। product এবং voice-এর সঙ্গে পারস্পরিকভাবে একচেটিয়া।
productইনলাইন সেশনের ইঞ্জিন: bolt (spark ও storm-এর পুরোনো সংস্করণ এখনও গ্রহণ করা হয়)।
voiceইনলাইন সেশনের জন্য ThunderPhone ভয়েসের নাম।
languageইনলাইন সেশনের জন্য প্রাথমিক ভাষার ইঙ্গিত, যেমন es।
from_number, to_numberপাইপলাইন ফোন লাইন পরিচালনা করলে কলে রেকর্ড করার নম্বরগুলো।
live_transcriptsউচ্চারণ চলাকালীন কলারের ট্রান্সক্রিপ্টের অংশ স্ট্রিম করুন (অতিরিক্ত বিল প্রযোজ্য)।
greet_on_connectসেশন প্রস্তুত হওয়ার সঙ্গে সঙ্গেই প্রথম প্রতিক্রিয়ার অনুরোধ করুন।
end_task_on_call_endedThunderPhone কল শেষ করলে EndWorkerFrame পুশ করুন (ডিফল্টভাবে চালু)।

ইভেন্ট

ThunderPhone রিয়েলটাইম প্রোটোকলের ওপর প্ল্যাটফর্ম ইভেন্ট যোগ করে। সার্ভিসটি সেগুলো হ্যান্ডলারে পাঠায়:

@llm.event_handler("on_call_ended")
async def on_call_ended(service, event):
    print("call ended:", event["reason"], "call id:", service.call_id)

সেশন লাইভ হলে service.call_id সেট হয়। কলের পর রেকর্ডিং, ট্রান্সক্রিপ্ট এবং গ্রেড আনতে এটি GET /v1/calls/{call_id}-এর সঙ্গে ব্যবহার করুন।

সীমা

  • টার্ন শনাক্তকরণ সার্ভার-সাইডে এবং সবসময় চালু থাকে; Pipecat-নিয়ন্ত্রিত টার্ন (turn_detection=False) সমর্থিত নয়।
  • সার্ভিসে নিবন্ধিত ফাংশনগুলো শুধু ইনলাইন সেশনের জন্য চলে। একটি সংরক্ষিত এজেন্ট ThunderPhone-এ নিজস্ব টুল চালায়।
  • উভয় দিকেই অডিও হলো 24 kHz-এ 16-বিট মনো PCM।
  • ভিডিও ফ্রেম উপেক্ষা করা হয়।