ابدأ بقرار العمل
لا توجد درجة جودة واحدة تصلح لكل نظام. يحتاج البحث في الوثائق إلى تغطية الأدلة ودقة الاقتباس، ويحتاج التصنيف إلى أخطاء كل فئة، ويحتاج مساعد الموظف إلى قياس الفائدة والزمن، بينما يحتاج الوكيل أيضاً إلى صحة اختيار الأداة وسلامة الإجراء. حدد السيناريوهات الحرجة وتكلفة الخطأ والحد الأدنى المقبول.
ابنِ مجموعة مرجعية ممثلة
أضف الطلبات الشائعة والحالات الصعبة والطلبات الخطرة وصياغات المستخدمين الحقيقية وتنسيقات الوثائق المختلفة. سجل لكل حالة الحقائق المتوقعة والبدائل المقبولة والمصادر المطلوبة والإجراءات المحظورة. افصل بيانات التطوير عن عينة رقابة مخفية كي لا يحفظ الضبط أسئلة الاختبار.
قيّم النظام على طبقات
في RAG قيّم الاسترجاع منفصلاً عن الإجابة. وفي الوكيل افحص الخطة والأداة ومعاملات الاستدعاء والنتيجة. تصلح الاختبارات الآلية للبنية والحقائق والاقتباسات والأفعال الممنوعة، بينما تبقى مراجعة الخبير ضرورية للفائدة والاكتمال والحكم المهني. قس أيضاً التأخير والتكلفة والفشل والسلوك تحت التزامن.
ضع بوابات للإصدار
شغّل كل تغيير في النموذج أو التعليمات أو الفهرس أو الأدوات على المجموعة ذاتها وقارنه بإعداد الإنتاج الحالي. لا ينبغي لمتوسط أعلى أن يخفي فشلاً في سيناريو حرج. ثبّت إصدارات النموذج والإعدادات واحفظ النتائج مع سجل الإصدار.
استمر بعد الإطلاق
اجمع أمثلة فشل منزوعة البيانات الحساسة، وراجعها ثم أضفها إلى الاختبارات. اعرض النتائج حسب السيناريو ونوع الخطأ لا كرقم واحد. يعتمد مالك العمل الفائدة، ويعتمد الأمن القيود، وتعتمد الهندسة قابلية التكرار والأداء والرجوع، فيصبح تحديث الذكاء الاصطناعي إصداراً منضبطاً.