يمكن لمحادثة واحدة مع وكيل الذكاء الاصطناعي أن تبدو خالية من العيوب من تلقاء نفسها ولا تزال تشير إلى منتج معطل. وتؤدي هذه الفجوة إلى حدوث تحول في كيفية تقييم الشركات للوكلاء، بعيدًا عن تسجيل الآثار الفردية ونحو مقارنة مجموعات المستخدمين مع خط الأساس.
في VB Transform 2026، وهاريسون تشيس، الرئيس التنفيذي لشركة LangChain؛ وهوي تشانغ، المدير التنفيذي للتكنولوجيا والمؤسس المشارك لشركة Conviva؛ ووصف إيمانويل تورلاي، مدير الهندسة في CoreWeave، هذا التحول، إلى جانب التحرك الموازي نحو نماذج تحكيم أرخص وأضيق.
الوكيل كقاضي – الحكم على مخرجات أحد عملاء الذكاء الاصطناعي بآخر – لم يحل محل LLM كقاضي، والذي قال تشيس إنه يظل هو الافتراضي. قال تشانغ إن التوتر الأكبر يكمن بين التحكيم الآلي، سواء من خلال ماجستير إدارة الأعمال أو الوكيل، والمراجعة البشرية.
"لديك قابلية للتطوير ولكن لا أساس لها، سواء أكان ذلك وكلاء كقاض أو ماجستير في القانون كقاض، فأنت تقوم بتقييم النتيجة، وتقيم العمل. لا يزال من الصعب جدًا تثبيته ثم استخدام البشر وهذا غير قابل للتطوير،" قال تشانغ. "الصناعة بأكملها تواجه هذا الأمر، ما هو السم الذي تريد اختياره؟"
تعمل معايير التقييم الآن كمواصفات المنتج
هذه الفجوة – المحادثة التي تحقق نتائج جيدة ولكنها لا تزال تشير إلى وجود منتج معطل – هي ما تحاول الفرق سده من خلال إنشاء مجموعة تقييم شاملة قبل شحن أي شيء. وقال تشيس أن هذا لا يعمل.
"نرى أحيانًا فرقًا تعاني من الشلل تقريبًا،" قال تشيس. "يقولون، هذه مجموعة تقييم، لا أستطيع تشغيلها. يتم إطلاق أفضل الفرق ثم تكرارها."
معايير التقييم التي وضعها تشيس هي مواصفات حية، وليست مجموعة اختبار لمرة واحدة: وثيقة متطلبات المنتج – المواصفات القياسية لتطوير البرامج لما يجب أن يفعله التطبيق. "التقييمات هي مثل PRD الجديد،" قال. "إنها تحدد ما يجب على وكيلك فعله وما لا ينبغي عليه فعله."
وصف تورلاي ضرب نفس الفشل من زاوية مختلفة. "كنت أحاول الوصول إلى تغطية 100% لاختباراتي، ومازلت أواجه أخطاء في الإنتاج،" قال – مجموعة اختبار بدت مكتملة ولكنها لا تزال تفتقد ما يهم، وهي نفس الفجوة التي وصفها تشيس مع التقييمات.
وقال إن المراقبة الواسعة والمستمرة تكتشف حالات فشل حقيقية أكثر من مجموعة الاختبارات الشاملة قبل الإطلاق. يجب على الفرق إعداد فحوصات واسعة عبر الإنترنت أولاً، واستخدامها لتحديد فئات الفشل عند حدوثها، ثم إنشاء تقييم مستهدف خارج الإنترنت حول المشكلات التي تظهر.
لماذا يعد تسجيل الآثار واحدًا تلو الآخر خطأً
فحتى عملية التقييم المبنية بشكل جيد لا يزال من الممكن أن تحرز نتائج خاطئة. يعترض تشانج على الطريقة التي تجري بها معظم الفرق عملية التقييم: أخذ العينات، سواء كانت 50 منها أو مجموعة كاملة من السكان، يتم تسجيل كل منها على حدة. يفتقد هذا النهج إشارة لا تظهر إلا عند مقارنة مجموعات من المستخدمين بخط الأساس، وهي طريقة يطلق عليها تشانغ التحليل التقابلي.
وأوضح تشانغ ذلك بمثال للبيع بالتجزئة: يطلب أحد المتسوقين من وكيل شراء حذاء جري قبل نصف ماراثون، ويطرح الوكيل أسئلة مؤهلة، ويشتري المتسوق حذاءً. تم تسجيل هذا التفاعل بشكل فردي، ويبدو جيدًا. لكن نسبة التوضيح، أي عدد أسئلة المتابعة التي يطرحها الوكيل قبل إكمال المهمة، جاءت أعلى بثلاث مرات من خط الأساس لفئة الأحذية هذه عبر إجمالي عدد المستخدمين. أما المقياس الثاني، وهو عدد المرات التي أنهى فيها المتسوقون عملية الشراء خارج المحادثة، فكان أعلى بخمس مرات من خط الأساس لنفس الفئة.
لا يمكن رؤية أي رقم من أثر واحد. يشير كلاهما إلى مشكلة خاصة بفئة قابلة للتصحيح. وقال تشانغ إن الصناعة تفتقر أيضًا إلى مصدر بيانات ثانٍ: ما يحدث قبل المحادثة وفيما بينها وبعدها، وليس فقط التتبع نفسه.
تحجيم القاضي للوظيفة
بمجرد أن يشير التحليل المتباين إلى الفئة التي تم كسرها بالفعل، فإن المشكلة التالية هي ما الذي يراقبها في المستقبل – وبأي تكلفة. كانت قاعدة تورلاي هي البدء بالنموذج الأكثر قدرة المتاح لإثبات أن المهمة قابلة للحل، ثم العمل على ذلك. وقال إنه إذا لم يكن من الممكن تنفيذ ذلك باستخدام نموذج من الدرجة الأولى، فلن ينجح مع نموذج أصغر. بمجرد أن يثبت النمط قابليته للتطبيق، يمكن للفرق أخذ عينة من جزء من حركة المرور بدلاً من الحكم على كل تفاعل، ونقل المهام الأبسط مثل التصنيف الثنائي إلى نماذج أصغر مفتوحة المصدر.
ذهبت LangChain إلى أبعد من ذلك، حيث قامت بضبط نموذجها الخاص لاكتشاف الوقت الذي يعتقد فيه المستخدم أن الوكيل ارتكب خطأ، وهي إشارة يستدعيها تشيس خطأً متصورًا. "النموذج الذي قمنا بضبطه كان نموذج كوين،" قال، في إشارة إلى عائلة علي بابا مفتوحة المصدر. من خلال الجمع بين وضع العلامات اليدوية والتقطير، كانت النتيجة جيدة. "نفس [Claude]السوناتة، اعتمادًا على الطريقة التي قدمنا بها الخدمة، إما تخفيض التكلفة بمقدار 10 إلى 100 مرة،" قال تشيس.
ليس كل حاجز حماية يحتاج إلى نموذج. أشار تشيس إلى حواجز الحماية الخاصة بكلود كود كدليل: التعابير المنطقية، وهي تقنية البرمجة الشائعة للعثور على الأنماط في التعليمات البرمجية والتحقق من صحتها. "الكثير من حواجز الحماية التي كانت لديهم كانت مجرد تعبيرات عادية،" قال. "لم تكن LLMs صغيرة، بل كانت مجرد تعبيرات عادية."
LLM كقاضي لا يعني اختفاء الإنسان في الحلقة
السؤال الأكبر هو ما إذا كان استخدام LLM كقاضي يزيل الحاجة إلى وجود إنسان في الحلقة.
وأشار تورلاي إلى المساءلة، معتمدًا على عمله السابق في شركة سيارات ذاتية القيادة. قام فريقه بضغط كمية البيانات وإعادة التدريب في دورة مدتها أسبوعين لشحن نموذج جديد للسيارة. وحتى ذلك الحين، كان لا يزال يتعين على شخص ما التوقيع.
"شعرت بالثقة نيابة عن الشركة لأقول أن هذا النموذج يجب أن يدخل في السيارة،" قال. ويمتد نفس المنطق إلى الشؤون القانونية والمالية والرعاية الصحية. "قبل أن نتمكن من إزالة أي إنسان لنقول، أنا أؤيد هذا وأتحمل المسؤولية القانونية عنه، سوف يستغرق الأمر بعض الوقت قبل أن يتمكن الوكلاء من القيام بذلك بمفردهم."
وافق تشانغ على أن الإنسان يجب أن يظل حارسًا على الحالات الزاوية، حتى مع تشغيل الأتمتة في نهاية المطاف على نطاق يفوق دقة الإنسان الفردية – حيث يمكن للآلات رؤية المزيد على مستوى النمط.
ذهب تشيس إلى أبعد من ذلك: إن الفحص البشري ليس مجرد شبكة أمان. "إن وجود الإنسان في الحلقة مهم حقًا لبناء الثقة في كيفية عمل هذه الأنظمة الوكيلة، كما أنه مهم جدًا للذاكرة والتعلم من الأنظمة." قال. "يجب أن تكون هناك تفاعلات حتى يتعلم النظام."
