ما الذي يجب التحقق منه قبل تشغيل RAG في الإنتاج

أنشئ مجموعة أسئلة قابلة للتحقق

اجمع أسئلة حقيقية وحدد الوثيقة والفقرة التي تثبت كل إجابة والحالات التي يجب أن يمتنع فيها النظام. تصبح هذه المجموعة أساس القبول بدلاً من الاعتماد على محادثات عرض قليلة.

معالجة الوثائق تحدد سقف الجودة

تحتاج الصور الممسوحة والجداول والمخططات والسياسات إلى مسارات استخراج مختلفة. افحص OCR والبنية والترميز والتكرار والحداثة، واحفظ بيانات القسم والتاريخ والمالك ومستوى الوصول مع كل جزء.

قِس الاسترجاع والتوليد بصورة منفصلة

إذا لم يظهر المصدر الصحيح فافحص الفهرس والبيانات الوصفية وبناء الاستعلام. وإذا ظهر المصدر وكانت الإجابة خاطئة فافحص التعليمات والسياق والنموذج. ويفيد الجمع بين البحث الدلالي واللفظي مع الأرقام والمصطلحات الدقيقة.

طبّق الصلاحيات وقت الاستعلام

تتغير الأدوار وحالة الوثائق، لذلك يجب التحقق من الصلاحية الحالية في كل عملية استرجاع ومنع التسرب عبر الاقتباسات أو السجلات.

يحتاج الفهرس إلى طابور تحديث ومعالجة أخطاء وإصدارات وإمكانية تراجع. النظام المفيد هو النظام القابل للقياس والتفسير والصيانة.