ارزیابی کیفیت پاسخ دستیار پشتیبانی باید از یک پاسخ ظاهراً روان عبور کند. پاسخ ممکن است مؤدبانه باشد اما راه‌حل نامرتبط بدهد، شرط مهمی را حذف کند یا تعهدی بسازد که سازمان تأیید نکرده است. هدف این مقاله سنجش پیش‌نویس‌های یک دستیار داخلی است؛ ارسال خودکار و تصمیم درباره درخواست مشتری به محدوده دیگری نیاز دارد.
پاسخ مطلوب و خطای مهم را پیش از آزمون تعریف کنید
برای هر نوع پرسش، مالک پشتیبانی بنویسد پاسخ باید چه نکته‌هایی داشته باشد، از چه منبعی بیاید و در چه حالتی ارجاع به انسان لازم است. در موارد ابهام، «پرسیدن یک سؤال روشن‌کننده» می‌تواند پاسخ مطلوب باشد. نمونه‌های مرجع را از اطلاعات ساختگی یا داده‌ای تهیه کنید که استفاده از آن مجاز و دسترسی آن کنترل شده است.
| بعد ارزیابی | نشانه قبولی | نمونه خطا |
|---|---|---|
| درستی | ادعا با منبع جاری سازگار است | معرفی قابلیت ناموجود |
| کفایت | پیش‌نیاز و قدم بعدی روشن است | حذف شرط مهم اجرای راه‌حل |
| ارجاع | منبع مرتبط و قابل دسترس است | ارجاع به سند دیگر یا نسخه قدیمی |
| مرز اختیار | تعهد تازه نمی‌سازد | وعده بازپرداخت یا موعد بدون مجوز |
| رسیدگی به ابهام | نمی‌داند را روشن بیان می‌کند | ساختن تشخیص قطعی از اطلاعات ناقص |
مجموعه آزمون فقط از پرسش‌های آسان نباشد
در یک مجموعه پیشنهادی، پرسش روشن با منبع کامل، پرسش ناقص، دو منبع ناسازگار و مسئله خارج از دامنه را بگنجانید. این دسته‌ها حداقل تنوع تمرین‌اند، نه تضمین پوشش همه خطاها. نسخه مدل، منبع و قالب دستور را ثبت کنید تا پس از تغییر بتوانید همان موارد را دوباره اجرا کنید.
نمونه فرضی: راهنمای ساختگی محصول هیچ زمان قطعی برای رفع خرابی نمی‌دهد. پرسش «تا فردا حتماً درست می‌شود؟» باید به پاسخ محدود و مسیر پیگیری برسد. پاسخ «بله، تا فردا» حتی اگر کوتاه و خوش‌لحن باشد، خطای تعهد است. بازبین دلیل رد را بنویسد تا اصلاح به همان مشکل متصل شود.
اصلاح کارشناس را به داده قابل استفاده تبدیل کنید
| وضعیت پیش‌نویس | ثبت لازم | معنای نتیجه |
|---|---|---|
| بدون اصلاح پذیرفته | منبع و معیار تأیید | قبولی در همان نمونه |
| پس از اصلاح پذیرفته | نوع اصلاح و زمان بازبینی | کار قابل استفاده با هزینه اصلاح |
| رد شده | علت و پاسخ جایگزین مجاز | شکست نمونه؛ از گزارش حذف نشود |
| بررسی‌نشده | دلیل نبود بررسی | نتیجه نامعلوم |
برای گزارش نرخ پذیرش، مخرج را فقط خروجی‌های واقعاً بررسی‌شده بگذارید و تعداد کل و بررسی‌نشده را هم نشان دهید. خطای مهم را جدا با تعداد نمونه و علت ثبت کنید. یک امتیاز کلی می‌تواند برای مقایسه داخلی مفید باشد، اما نباید پنهان کند کدام مرز مهم شکسته شده است.
بازگشایی تیکت را به پاسخ مشخص وصل کنید
هر بازگشایی به معنی خطای هوش مصنوعی نیست؛ ممکن است مسئله تازه‌ای مطرح شده یا مشتری اطلاعات جدید داده باشد. با شناسه مجاز تیکت، علت را دسته‌بندی کنید: پاسخ اشتباه، توضیح ناکافی، اجرای ناقص، مسئله جدید یا نامعلوم. فقط مواردی را به پاسخ دستیار نسبت دهید که شاهد مرتبط دارند. نرخ‌ها را در بازه و با تعریف یکسان مقایسه کنید.
زمان کل پاسخ‌گویی نیز شامل تولید، مطالعه منبع و اصلاح است. اگر تولید سریع‌تر شده ولی بازبینی طولانی‌تر است، نتیجه را همان‌طور گزارش کنید. پس از تغییر منبع یا قالب، آزمون ثابت و چند نمونه جدید اجرا کنید. گسترش استفاده زمانی بررسی می‌شود که معیارهای از پیش تعیین‌شده پاس شوند و خطای مهم حل‌نشده نمانده باشد.
مستند معماری دستیار پشتیبانی مایکروسافت آزمون عملکرد، بازخورد و تحویل به انسان را مطرح می‌کند. جدول امتیاز و دسته‌بندی خطا در این مقاله پیشنهاد عملی وب‌کمک است.
برای شناخت دامنه، راهنمای هوش مصنوعی در پشتیبانی را بخوانید. در طراحی دستیار پشتیبانی و پایلوت یک فرایند می‌توان معیار پذیرش و مجموعه آزمون را پیش از استفاده گسترده مشخص کرد. نتیجه این ارزیابی، شاهد همان نمونه و نسخه است؛ تضمین همه پاسخ‌های آینده نیست.
پشتیبانی مشتریان با هوش مصنوعی
خلاصه تحویل تیکت، دانش تأییدشده و ارزیابی پاسخ را به‌عنوان سه بخش مرتبطِ کار تیم پشتیبانی دنبال کنید. خلاصه‌سازی تیکت با هوش مصنوعی برای تحویل به کارشناس؛ تبدیل تیکت‌های تکراری به مقاله دانش با کمک هوش مصنوعی.
پرسش و پاسخ
خیر. رضایت را می‌توان کنار تطابق با منبع، خطاهای مهم، اصلاح لازم و نتیجه رسیدگی ثبت کرد، اما جای بررسی درستی پاسخ را نمی‌گیرد.
خیر. علت باید با سابقه مرتبط بررسی شود؛ مسئله جدید یا اطلاعات تازه را از پاسخ اشتباه جدا کنید.
بله. موارد مرجع مرتبط با سند تغییرکرده و موارد ابهام یا تناقض را دوباره بررسی کنید و نسخه‌ها را در گزارش نگه دارید.
گفتگو
دیدگاه‌ها و پرسش‌های شما
اگر درباره این نوشته تجربه، سوال یا نکته‌ای دارید، همین‌جا بنویسید تا گفتگو برای خوانندگان بعدی هم کامل‌تر شود.