Open in
OpenAI Realtime ক্লায়েন্টের সঙ্গে ThunderPhone ব্যবহার করুন
সংরক্ষিত এজেন্ট বা ইনলাইন সেশন কনফিগারেশন ব্যবহার করে একটি OpenAI Realtime-সামঞ্জস্যপূর্ণ সার্ভার ক্লায়েন্টকে ThunderPhone-এর দিকে নির্দেশ করুন।
ThunderPhone, OpenAI Realtime ইভেন্ট মডেলের একটি লক্ষ্যভিত্তিক উপসেট বাস্তবায়ন করে। একটি বিদ্যমান সার্ভার-সাইড ক্লায়েন্ট ThunderPhone ভয়েস এজেন্ট ব্যবহার করার সময় তার WebSocket, অডিও, সেশন এবং রেসপন্স ইভেন্ট ফ্লো বজায় রাখতে পারে।
সংযোগ করার আগে
আপনার একটি ThunderPhone অর্গানাইজেশন সিক্রেট API কী এবং WebSocket খুলতে পারে এমন একটি সার্ভার রানটাইম প্রয়োজন। ব্রাউজার কোড থেকে সংযোগ করবেন না বা ব্রাউজারে কী প্রকাশ করবেন না। সংরক্ষিত এজেন্ট ব্যবহার করতে হলে, প্রথমে সেটি ডিপ্লয় করুন এবং এর সংখ্যাসূচক এজেন্ট ID কপি করুন।
এতে সংযোগ করুন:
wss://api.thunderphone.com/v1/realtimeআপনার সার্ভার থেকে WebSocket আপগ্রেড প্রমাণীকরণ করুন:
Authorization: Bearer sk_live_YOUR_API_KEYযেসব ক্লায়েন্ট হ্যান্ডশেক হেডার সেট করতে পারে না, তাদের জন্য কোয়েরি-স্ট্রিং প্রমাণীকরণ রয়েছে, তবে URLs লগে ফাঁস হওয়ার ঝুঁকি বেশি।
কনফিগারেশনের নিয়ন্ত্রণ কার হাতে থাকবে তা বেছে নিন
| মোড | এটি দিয়ে নির্বাচন করুন | কনফিগারেশনের উৎস |
|---|---|---|
| সংরক্ষিত এজেন্ট | প্রথম session.update-এ session.prompt.id, অথবা ?agent_id=12 | ডিপ্লয় করা prompt, ভয়েস, পণ্য, ভাষা, জ্ঞান এবং সামঞ্জস্যপূর্ণ সার্ভার-চালিত টুল, সঙ্গে এই সেশনের নির্দেশনা ও ভেরিয়েবল |
| ইনলাইন | কোনোটিই নয় | আপনার ক্লায়েন্ট থেকে প্রথম গৃহীত session.update |
সংরক্ষিত এজেন্ট
প্রতিটি কলে সাধারণ থাকা বিষয়গুলো একটি সংরক্ষিত এজেন্টে রাখুন, যেখানে সংস্করণ এবং টেস্ট
সেট থাকে, এবং প্রতি সেশনে যা পরিবর্তিত হয় তা প্রথম session.update-এ পাঠান:
session.prompt.id ডিপ্লয় করা এজেন্ট নির্বাচন করে, session.instructions এই
সেশনের সংক্ষিপ্ত নির্দেশনা বহন করে, এবং session.prompt.variables এজেন্টের prompt-এর
{{name}} প্লেসহোল্ডারগুলো পূরণ করে।
{
"type": "session.update",
"session": {
"type": "realtime",
"prompt": {
"id": "12",
"variables": { "user_name": "Ada Park" }
},
"instructions": "Ada is a Costco member in Mountain View. Call the store and ask for today's opening hours.",
"audio": {
"input": { "format": { "type": "audio/pcm", "rate": 24000 } },
"output": { "format": { "type": "audio/pcm", "rate": 24000 } }
}
}
}নির্দেশনাগুলো কলের কনটেক্সট হয়ে যায়,
যা শুধু এই কলের জন্য এজেন্টের prompt-এর পরে যোগ করা হয়। ইনলাইন সেশনের মতো, সেশনের নিজস্ব বিকল্পগুলো
(telephony, outbound, ivr_mode, call_events, placeholders) এবং এটি যে ভাষায় শুরু হয়
(primary_language) তা session.config-এ থাকে। এজেন্টের ভয়েস, প্রোডাক্ট এবং টুল তার ডিপ্লয় করা
কনফিগারেশন থেকে আসে: আপডেটে কোনো ভয়েস, অন্য এজেন্ট সেটিং, বা ডিফল্ট-বহির্ভূত
tool_choice-এর মতো শুধু OpenAI-এর জন্য থাকা ফিল্ড দিলে একটি error ইভেন্ট তৈরি হয় এবং তা উপেক্ষা করা হয়,
এবং আপনার ক্লায়েন্ট চালানো টুলগুলো প্রত্যাখ্যাত হয় (ক্লায়েন্ট-চালিত টুলের জন্য
একটি ইনলাইন সেশন প্রয়োজন)। prompt.version গ্রহণ করা হয় এবং উপেক্ষা করা হয়। সব নিয়মের জন্য একটি সংরক্ষিত
এজেন্ট ব্যবহার করুন দেখুন।
এর পরিবর্তে ?agent_id=12 দিয়ে সংযোগ করলে সকেট সংযুক্ত হওয়ার সময়ই এজেন্ট শুরু হয়,
তাই session.update প্রয়োজন হয় না, কিন্তু এরপর তার সেশন কনফিগারেশন স্থির হয়ে যায়: পরে পাঠানো
নির্দেশনা, ভেরিয়েবল এবং সেশন বিকল্পগুলো (outbound,
ivr_mode, telephony, placeholders, call_events) একটি error ইভেন্টসহ প্রত্যাখ্যাত হয়। এর পরিবর্তে প্রথম
session.update-এ এটি শুরু করতে URL-এ
&wait_for_session_update=1 যোগ করুন; তখন সেটি একইভাবে নির্দেশনা, ভেরিয়েবল এবং
সেশন বিকল্প বহন করে; একটি আউটবাউন্ড সেশনের জন্য এটি প্রয়োজন। সেই আপডেট আসা পর্যন্ত কলারের অডিও
আটকে রাখা হয়, অন্যান্য ইভেন্ট প্রত্যাখ্যাত হয়, এবং 10 সেকেন্ডের মধ্যে কোনো আপডেট না এলে সকেট বন্ধ হয়ে যায়।
অভিবাদন উপলভ্য থাকে, তবে Realtime এজেন্টের কথ্য
নীরবতা যাচাই নিষ্ক্রিয় করে এবং transfer_call ও send_keypad_input শুধু
call_events-এর সঙ্গে প্রদান করে। অন্যান্য সামঞ্জস্যপূর্ণ টুল ThunderPhone-এ চলে; ক্লায়েন্ট-চালিত
টুলের জন্য একটি ইনলাইন সেশন প্রয়োজন। কল শুরু হওয়ার পরে অডিও ফরম্যাট এবং সেশনের নির্দেশনা ও ভেরিয়েবল পরিবর্তন করা যায় না।
ইনলাইন সেশন
সংরক্ষিত এজেন্ট ছাড়া, session.created-এর জন্য অপেক্ষা করুন, তারপর session.update পাঠান:
{
"type": "session.update",
"session": {
"type": "realtime",
"instructions": "Answer questions clearly and keep responses brief.",
"audio": {
"input": {
"format": { "type": "audio/pcm", "rate": 24000 }
},
"output": {
"format": { "type": "audio/pcm", "rate": 24000 },
"voice": "olivia"
}
},
"config": {
"product": "bolt"
}
}
}প্রথম গৃহীত আপডেট কল প্রস্তুত করে। session.updated অর্থ সেশন সক্রিয়। এর পরে নির্দেশনা, ভয়েস, পণ্য, টুল এবং অডিও ফরম্যাট পরিবর্তন করা যাবে না। নির্দেশনা স্থির রেখে শুধু নামযুক্ত মান পরিবর্তন করতে, সেগুলোতে {{name}} প্লেসহোল্ডার লিখুন এবং মানগুলো session.config.variables-এ পাঠান।
ইনলাইন সেশনে স্বয়ংক্রিয় অভিবাদন বা কথ্য নীরবতা যাচাই নেই। এজেন্টকে আগে কথা বলাতে, একটি সিস্টেম বা ব্যবহারকারী বার্তা যোগ করুন এবং
response.create পাঠান। সম্পূর্ণ নিষ্ক্রিয় সেশনও প্ল্যাটফর্মের নীরব-কল সীমায় শেষ হয়, যা ডিফল্টভাবে 600 সেকেন্ড।
অফিসিয়াল OpenAI SDK ব্যবহার করুন
/v1 দিয়ে শেষ হওয়া একটি WebSocket বেস URL দিন; SDK /realtime যোগ করে। model মানটি একটি সামঞ্জস্যপূর্ণ নাম এবং ThunderPhone পণ্য নির্বাচন করে না। সেশন কনফিগারেশন বা সংরক্ষিত এজেন্টে পণ্য নির্বাচন করুন।
এই সংযোগ পরীক্ষা একটি ইনলাইন Bolt সেশন তৈরি করে, প্রথম session.updated পর্যন্ত ইভেন্ট প্রিন্ট করে এবং বন্ধ হয়। অডিও স্ট্রিম করতে ন্যূনতম Python ক্লায়েন্ট ব্যবহার করুন।
import asyncio
import os
from openai import AsyncOpenAI
async def main():
client = AsyncOpenAI(
api_key=os.environ["THUNDERPHONE_API_KEY"],
websocket_base_url="wss://api.thunderphone.com/v1",
)
async with client.realtime.connect(
model="thunderphone-realtime"
) as connection:
await connection.session.update(session={
"type": "realtime",
"instructions": "Listen to the caller and help them complete the call.",
"config": {"product": "bolt"},
})
async for event in connection:
print(event.type)
if event.type == "session.updated":
break
if __name__ == "__main__":
asyncio.run(main())ইনপুট অডিও অ্যাপেন্ড, রেসপন্স অডিও ডেল্টা, বাধা, ফাংশন কল, ত্রুটি এবং পরিষ্কার সকেট বন্ধ করার জন্য আপনার বিদ্যমান হ্যান্ডলিং বজায় রাখুন। ইনলাইন কাস্টম ফাংশন আপনার ক্লায়েন্টে কার্যকর হয়; Realtime প্রোটোকলের মাধ্যমে তাদের ফলাফল ফেরত দিন। সংরক্ষিত-এজেন্ট টুল ThunderPhone-এ কার্যকর হয়।
সেশন লাইফসাইকেল এবং ব্যর্থতা
একটি WebSocket একটি কলকে উপস্থাপন করে। অবৈধ এজেন্ট ID বা প্রত্যাখ্যাত ইনলাইন কনফিগারেশন একটি error ইভেন্ট তৈরি করে। সেশনকে সক্রিয় হিসেবে বিবেচনা করার আগে session.updated-এর জন্য অপেক্ষা করুন। প্রকৃত ইনপুট ও আউটপুট ফরম্যাট এবং স্যাম্পল রেট ঘোষণা করুন: PCM রেটের অমিল যাচাইকরণ ত্রুটি তৈরি করার পরিবর্তে অডিও খুব দ্রুত বা খুব ধীরে চালায়।
সেশন শুরু হওয়ার পরে, আপনার অ্যাপ্লিকেশনের কাজ শেষ হলে সকেটটি সঠিকভাবে বন্ধ করুন। ইনলাইন সেশন ক্লায়েন্ট-নির্বাহিত ফাংশন ব্যবহার করতে পারে। সংরক্ষিত এজেন্ট সেশন সামঞ্জস্যপূর্ণ ThunderPhone-চালিত টুল ব্যবহার করে এবং call_events-এর সাথেই শুধু transfer_call (এবং আউটবাউন্ড সেশনে send_keypad_input) প্রদান করে; আপনার ক্লায়েন্ট সেই call.* ইভেন্টগুলো সম্পাদন করে।
ইন্টিগ্রেশন পরীক্ষা করুন
ন্যূনতম Python WAV ক্লায়েন্ট এবং ঘোষিত রেটে একটি মোনো PCM16 WAV দিয়ে শুরু করুন। যাচাই করুন:
- সার্ভার কনফিগারেশন গ্রহণ করে এবং
session.updatedপাঠায়। - ইনপুট প্রত্যাশিত গতিতে ট্রান্সক্রিপ্ট ও রেসপন্স-অডিও ইভেন্ট তৈরি করে।
- বাধা ও রেসপন্স বাতিলকরণ অবশিষ্ট আউটপুট অডিও বন্ধ করে।
- ইনলাইন ফাংশনের ফলাফল বা সংরক্ষিত-এজেন্ট টুলের ফলাফল মডেলে ফেরত যায়।
- অবৈধ ইনপুট একটি
errorইভেন্ট তৈরি করে, যা আপনার ক্লায়েন্ট হ্যান্ডেল করে। - আপনার ক্লায়েন্ট সকেট বন্ধ করে এবং কলটি কলের ইতিহাসে দেখা যায়।
Realtime WebSocket রেফারেন্স গৃহীত ইভেন্ট, অডিও ফরম্যাট, সেশন ফিল্ড এবং সম্পূর্ণ উদাহরণ তালিকাভুক্ত করে।
খরচ
Realtime কলের মূল্য অন্য যেকোনো কলের মতোই নির্ধারিত হয়: আমাদের প্রোভাইডারদের তালিকামূল্যে তাদের অংশগুলোর খরচ, সঙ্গে একটি অবকাঠামো চার্জ এবং 17–25% মার্জিন। লাইভ ট্রান্সক্রিপ্ট ডেল্টা সক্রিয় করলে পুরো সেশনের জন্য ট্রান্সক্রিপশন কাজ যোগ হয়; দেখুন লাইভ ট্রান্সক্রিপ্ট এবং মূল্য নির্ধারণ।
POST /v1/realtime/sessions একটি পৃথক পরিচালিত LiveKit পাথ। এটি একটি রুম এবং সীমাবদ্ধ পার্টিসিপ্যান্ট টোকেন তৈরি করে; সরাসরি WebSocket সংযোগের জন্য এটির প্রয়োজন নেই।
ফ্রেমওয়ার্ক ইন্টিগ্রেশনের জন্য Pipecat থেকে ThunderPhone ব্যবহার করুন এবং LiveKit Agents থেকে ThunderPhone ব্যবহার করুন দেখুন।