ভ্যালিডেশন সেট: ডিপ্লয়মেন্টের আগে বাস্তব কলের টার্ন পুনরায় চালান
একটি ভ্যালিডেশন উদাহরণ বাস্তব কলের একটি এজেন্ট টার্ন স্থির করে রাখে: তার আগের কথোপকথন, প্রাসঙ্গিক কলার অডিও, এজেন্ট আসলে কী করেছে, এবং তার কী করা উচিত তার গ্রাউন্ড ট্রুথ। বর্তমান খসড়ার বিপরীতে একটি সেট পুনরায় চালালে আরেকটি কল না করেই রিগ্রেশন ধরা যায়।
ডেটাসেট তৈরি ও পর্যালোচনা করতে প্রতিষ্ঠানজুড়ে থাকা ভ্যালিডেশন সেট পৃষ্ঠা
(/dashboard/validation) ব্যবহার করুন। সেট চালাতে এবং রান ইতিহাস পরীক্ষা করতে
নির্দিষ্ট এজেন্টের ভ্যালিডেশন ট্যাব ব্যবহার করুন।
কল ইতিহাস থেকে উদাহরণ যোগ করুন
- উদাহরণ যোগ করুন নির্বাচন করুন
যে এজেন্টের আচরণ উদাহরণটি যাচাই করবে, তাকে বেছে নিন। ওয়ার্কস্পেসে সেই এজেন্টের সাম্প্রতিক সর্বোচ্চ 25টি নন-সিমুলেশন কল দেখানো হয়।
- একটি কল ও এজেন্ট টার্ন নির্বাচন করুন
ট্রান্সক্রিপ্ট পড়ুন, সংরক্ষণ করতে চান এমন এজেন্ট টার্নের ওপর হোভার করুন এবং চেকলিস্ট অ্যাকশনটি নির্বাচন করুন। সেই টার্ন পর্যন্ত কথোপকথন এবং এর কলার অডিও স্প্যান ভ্যালিডেশন ডেটাসেটে কপি করা হয়।
- প্রত্যাশা পর্যালোচনা করুন
ThunderPhone সঠিক আচরণের একটি বিবরণ খসড়া করে। এটিকে নির্দিষ্ট ও পরীক্ষাযোগ্য করতে সম্পাদনা করুন এবং চাইলে গৃহীত উদাহরণ প্রতিক্রিয়া ও প্রত্যাশিত টুল কল সম্পাদনা করুন।
- সংরক্ষণ বা সক্রিয় করুন
খসড়া সংরক্ষণ করুন উদাহরণটিকে পর্যালোচনা প্রয়োজন অবস্থায় রাখে। সংরক্ষণ ও সক্রিয় করুন এটি ভবিষ্যৎ ভ্যালিডেশন রানে অন্তর্ভুক্ত করে।
একই টার্ন দুবার উন্নীত করলে দুটি কপি তৈরি করার বদলে বিদ্যমান উদাহরণটি পুনরায় ব্যবহৃত হয়।
উদাহরণের ধরন ও অবস্থা
ধরন একটি উদাহরণ কেন আছে তা বর্ণনা করে:
| ধরন | ব্যবহার |
|---|---|
| ব্যর্থতা | একটি বাস্তব প্রতিক্রিয়া যা এমন আচরণ প্রকাশ করেছে, যা আপনি প্রতিরোধ করতে চান। |
| গোল্ডেন | সংরক্ষণযোগ্য, পরিচিত ভালো প্রতিক্রিয়া। |
| ম্যানুয়াল | হাতে কিউরেট করা এমন একটি কেস, যা কোনো শ্রেণিতেই পড়ে না। |
অবস্থা জীবনচক্র নিয়ন্ত্রণ করে:
| অবস্থা | অর্থ |
|---|---|
| পর্যালোচনা প্রয়োজন | গ্রাউন্ড ট্রুথ এখনও পর্যালোচিত হচ্ছে; রান থেকে বাদ দেওয়া হয়েছে। |
| সক্রিয় | ভ্যালিডেশন রানে অন্তর্ভুক্ত। |
| অপ্রচলিত | উদাহরণটি স্থির করার পর থেকে prompt পরিবর্তিত হয়েছে; এর প্রত্যাশা পর্যালোচনা করুন। |
| অসামঞ্জস্যপূর্ণ | বর্তমান কনফিগারেশনের সঙ্গে উদাহরণটি পুনরায় চালানো যায় না। |
| আর্কাইভ করা | ইতিহাসের জন্য সংরক্ষিত, কিন্তু রান থেকে বাদ দেওয়া হয়েছে। |
ডেটাসেট ব্রাউজ ও পরিমার্জন করুন
প্রতিষ্ঠানের ডেটাসেট এজেন্ট, অবস্থা বা ধরন অনুযায়ী ফিল্টার করুন। একটি উদাহরণ নির্বাচন করলে দেখা যায়:
- স্থির করা কথোপকথনের প্রসঙ্গ এবং চালানো যায় এমন কলার অডিও স্প্যান।
- উৎস কল এবং মূল প্রতিক্রিয়া।
- গ্রাউন্ড-ট্রুথ প্রত্যাশা, গৃহীত কথ্য প্রতিক্রিয়া এবং টুল কল।
- মূল ও প্রত্যাশিত আচরণের পাশে সর্বশেষ রিপ্লে।
- উপলব্ধ থাকলে সর্বশেষ রায় এবং জাজ ব্যাখ্যা।
প্রত্যাশা বা গৃহীত প্রতিক্রিয়া সংশোধন করতে গ্রাউন্ড ট্রুথ সম্পাদনা করুন নির্বাচন করুন। সম্পূর্ণ রান শুরু না করে শুধু সেই উদাহরণ পরীক্ষা করতে খসড়ার বিপরীতে রিপ্লে করুন নির্বাচন করুন। রিপ্লেতে এজেন্টের বর্তমান খসড়া ব্যবহৃত হয়, তার ডিপ্লয় করা কনফিগারেশন নয়।
একটি ভ্যালিডেশন সেট চালান
এজেন্টের ভ্যালিডেশন ট্যাব থেকে প্রতিটি সক্রিয় উদাহরণের ওপর একটি রান শুরু করুন। প্রতিটি উদাহরণ এই রায়গুলোর একটি পায়:
- পাস — প্রতিক্রিয়াটি প্রত্যাশা এবং কলার অডিও পূরণ করে।
- সতর্কতা — প্রতিক্রিয়াটি ব্যবহারযোগ্য, কিন্তু একটি যাচাইয়ে অনিশ্চয়তা পাওয়া গেছে।
- ব্যর্থ — এটি অডিওর সঙ্গে সাংঘর্ষিক অথবা প্রয়োজনীয় আচরণ অনুপস্থিত।
- এড়িয়ে যাওয়া — প্রয়োজনীয় কলার অডিও লোড করা যায়নি; এটি পাস-রেটের হর থেকে বাদ দেওয়া হয়।
- ত্রুটি — রিপ্লে বা গ্রেডিং সম্পন্ন করা যায়নি।
রান সারাংশে পাস, সতর্কতা, ব্যর্থতা ও এড়িয়ে যাওয়া সংখ্যাগুলি, পাস রেট, আনুমানিক খরচ এবং আগের সম্পন্ন রানের পর পাস থেকে ব্যর্থতায় যেকোনো রিগ্রেশন দেখানো হয়। একবারে প্রতি এজেন্টের জন্য কেবল একটি ভ্যালিডেশন রান সক্রিয় থাকতে পারে।
যাচাইকরণ প্রমাণসহ ডিপ্লয় করুন
কোনো এজেন্টের যাচাইকরণ উদাহরণ থাকলে, ডিপ্লয় ডায়ালগ জানায় সর্বশেষ সম্পন্ন রানটি বর্তমান ড্রাফটের সঙ্গে মেলে কি না। আপনি করতে পারেন:
- প্রদর্শিত পাসের হার এবং রিগ্রেশন সংখ্যা সহ ডিপ্লয় করতে।
- কোনো মিল থাকা রান না থাকলে আগে যাচাইকরণ চালাতে।
- ফলাফল পর্যালোচনা করা হয়ে থাকলে ইচ্ছাকৃতভাবে তবুও ডিপ্লয় করতে।
যাচাইকরণ হলো প্রমাণ এবং একটি ডিপ্লয়মেন্ট পরীক্ষা, স্বয়ংক্রিয় প্রোডাকশন ট্র্যাফিক বিভাজন নয়। লাইভ তুলনার জন্য ব্যবহার করুন পরীক্ষা (A/B টেস্টিং)।
API অটোমেশন
ভ্যালিডেশন সেটস API-এ টার্ন প্রমোট করা, উদাহরণ পরিচালনা করা, পিন করা অডিও স্ট্রিম করা, পৃথক রিপ্লে, ব্যাচ রান, রানের ফলাফল, ডিপ্লয়মেন্ট-সময়ের স্ট্যাটাস এবং সংস্থার সারসংক্ষেপ অন্তর্ভুক্ত রয়েছে।