يفترض فريق توجيه الاستعلامات عبر متخصص في الترميز، ومتخصص في المنطق، ونموذج عام أن كل منهم سيغطي النقاط العمياء للآخرين. أظهرت دراسة جديدة تقيم 67 نموذجًا حدوديًا من 21 مزودًا أن الافتراض معيب من الناحية الرياضية – والخلل له اسم: سقف الفشل المشترك.
يعمل الافتراض على النحو التالي: طالما أن النموذجين لا يفشلان عادة في نفس المطالبات بالضبط، فمن المفترض أن يؤدي الجمع بينهما إلى إنشاء شبكة أمان ضد حالات الفشل.
إن الحد الحقيقي للتنسيق ليس هو عدد المرات التي تختلف فيها النماذج، ولكن النسبة المئوية للمطالبات حيث يعطي كل نموذج في المجموعة إجابة خاطئة في وقت واحد. ومن خلال تجاهل سقف الفشل المشترك، تقوم المؤسسات ببناء بنية تحتية معقدة ومكلفة للتوجيه لمطاردة مكاسب الأداء التي لا وجود لها. ولحسن الحظ، يمكن للمطورين استخدام نفس هذه الحسابات لإنشاء اختبار مجاني يحدد بالضبط متى سيؤتي التنسيق متعدد النماذج ثماره فعليًا.
التكاليف الخفية لاستراتيجية النماذج المتعددة
لتنسيق نماذج لغات متعددة، يعتمد المطورون عادةً على ثلاث بنيات. تعمل أجهزة التوجيه النموذجية كشرطة مرور، حيث ترسل استعلامات معقدة إلى نماذج باهظة الثمن واستعلامات بسيطة إلى نماذج أرخص. ترسل Cascades كل مطالبة إلى نموذج رخيص أولاً، وتتصاعد إلى نموذج متميز فقط إذا أشار النظام الأولي إلى انخفاض الثقة. وأخيرًا، تقوم أساليب مثل Mixture-of-Agents (MoA) بدمج نماذج متعددة عن طريق طرح نفس السؤال عليها وتوليد إجابة مركبة من مخرجاتها المجمعة.
تقدم هذه البنى أ "سعر الظل" لاستنتاج التكاليف. في كل مرة يقوم فيها فريق التطوير بتنفيذ جهاز توجيه أو سلسلة، فإنهم يدفعون علاوة على زمن الوصول الإضافي للنظام، وصيانة البنية التحتية المعقدة، وزيادة مخاطر الحوكمة عبر موفري واجهة برمجة التطبيقات المتعددة.
لتبرير هذه التكاليف التشغيلية، يعتمد المهندسون على “ارتباط الأخطاء الزوجية” لاختيار مجموعة النماذج الخاصة بهم. تخيل أن أحد المطورين لديه النموذج A، الذي يكتب لغة Python بشكل ممتاز ولكنه يفشل في لغة SQL، والنموذج B، الذي يكتب لغة SQL بشكل ممتاز ولكنه يفشل في لغة Python. ولأنها تفشل في أنواع مختلفة من المطالبات، فإن ارتباط الأخطاء الزوجية الخاص بها يكون منخفضًا. يفترض المطور أنه من خلال وضع طبقة توجيه أمامه، فقد أنشأ نظامًا مركبًا نادرًا ما يفشل في البرمجة.
وفقًا للدراسة، فإن جمع نماذج متنوعة معًا بناءً على ارتباط منخفض يمكن أن يضر الأداء إذا لم تكن النماذج على نفس القدر من الكفاءة – عندما تصوت عبر نماذج متنوعة ولكن غير متكافئة، غالبًا ما تتجمع النماذج الأضعف وتتفوق على النموذج الأذكى.
قال جوزيف تشين، مؤلف الدراسة، لـ VentureBeat أنه في تجاربهم، "كان للتصويت بالأغلبية الساذجة عبر النماذج غير المتكافئة مكاسب سلبية في المتوسط (ناقص 10 نقاط في المزيج الصعب لدينا): فالأعضاء المتنوعون ولكن الأضعف يتفوقون على الأعضاء الأقوياء." النصيحة القابلة للتنفيذ للمطورين هي "الجمع بين النماذج فقط ضمن نطاق الجودة المطابق." إذا لم تتمكن من مطابقة الجودة، فاستخدم خط الأساس للنموذج الفردي وأنفق ميزانيتك على أفضل نموذج متاح.
توفر هذه الورقة نقطة مضيئة واحدة لهذا النهج فيما يتعلق بهندسة وزارة الزراعة. عند بناء الفرق، غالبا ما تستخدم الفرق "وزارة الزراعة الذاتية،" حيث يقومون بالاستعلام عن نفس النموذج المتميز عدة مرات لإنشاء إجابة مركبة. وجد الباحثون أنه عند الجودة المتطابقة، فإن بناء مجموعة متنوعة من النماذج ذات الارتباط الزوجي المنخفض يتفوق على إعداد MoA عالي الارتباط.
ومع ذلك، عندما تستخدم الفرق نفس مقياس الارتباط الزوجي للتنبؤ بالدقة المطلقة لنظامها العام، تنهار الرياضيات.
"لذا تدفع الفرق تكاليف التنسيق مقدمًا (زمن الوصول، والتعقيد، وعمليات مقدمي الخدمات المتعددين) على افتراض أن أرباح التنوع ستصل لاحقًا،" قال تشين. "لا يحدث ذلك عادة، لأن أفضل النماذج اليوم تتفق، والأسوأ من ذلك أنها تفشل في نفس الاستفسارات… فالموجه يحمل ببساطة إشارة قليلة حول النموذج الذي سيكون هو الصحيح عندما تختلف الحدود."
لماذا تفشل الرياضيات: سقف الفشل المشترك
تركز النتيجة الأساسية للدراسة على مقياس يسمى "معدل الفشل المشترك" – الاسم الرسمي للسيناريو الخاطئ الموصوف أعلاه. لا يمكن لأي جهاز توجيه أو نظام تصويت أو سلسلة متتالية تحقيق دقة أعلى من السقف الذي يفرضه.
تُظهِر مجموعة الترميز والمنطق والعامة ارتباطًا زوجيًا منخفضًا في المطالبات الروتينية – ونادرًا ما تفشل معًا. لكن سقف الفشل المشترك يمثل حالة حافة غامضة ومعقدة للغاية تتجاوز حدود بنيات الذكاء الاصطناعي الحالية. إذا كانت المطالبة صعبة للغاية لدرجة أن النماذج الثلاثة تهلوس أو تفشل، فلا يهم مدى ذكاء جهاز التوجيه في توزيع المهمة. يتم مسح المسبح بأكمله مرة واحدة.
اختبر الباحثون مجموعتهم المكونة من 67 نموذجًا، والتي تضمنت GPT-5.5، وClaude Opus 4.8، وGemini 3.1 Pro، على مقياس الرياضيات MATH-500 المفتوح. واستنادًا إلى الارتباط الزوجي القياسي، توقعت النماذج الإحصائية أن يتم حذف المجموعة بأكملها في وقت واحد من 2.3% فقط من الأسئلة. في الواقع، كان معدل الفشل المشترك 5.2%.
قللت مقاييس الارتباط القياسية من تقدير معدل الفشل بنحو 2.25 مرة. السبب ليس مجرد صعوبة مستقلة، بل نقطة فشل مشتركة.
"المحرك هو ما نسميه ذرة الوضع المشترك: شريحة من الاستعلامات التي يفشل فيها السوق بأكمله معًا، والتي لا يمكن لأي إحصائية زوجية رؤيتها،" قال تشين. "إن إضافة النموذج العشرين إلى حمام السباحة الخاص بك لا يؤدي إلى شراء تغطية الذيل. الذيل مشترك."
ووجد الباحثون أيضًا أن تنسيق المهمة يؤدي بشكل مباشر إلى الفشل المشترك. وعندما أخذوا أسئلة علمية على مستوى الدراسات العليا من معيار GPQA وقاموا بتغييرها من تنسيقات الاختيار المتعدد إلى تنسيقات الإجابة الحرة، توسعت نسبة الأخطاء إلى 12.7%.
ومع ذلك، يمكن للمطورين إجراء هندسة حول السقف. "إن التداعيات الهندسية غير مريحة: فالإعدادات متعددة النماذج تشتري أقل ما تريده الفرق بالضبط، على الجيل المفتوح،" قال تشين. "في أي مكان يمكنك فيه تحويل التوليد إلى تحقق أو اختيار مقيد (المخرجات المنظمة، والإجابات القابلة للتحقق، واختبارات التنفيذ)، فإنك تعيد فتح السقف."
في النهاية، وجد الباحثون أن هذا السقف يحد من تطبيقات الذكاء الاصطناعي بطريقتين مختلفتين، اعتمادًا على المجال:
-
البيئات المرتبطة بالسقف (على سبيل المثال، الرياضيات المفتوحة): معدل الفشل المشترك مرتفع. المهمة صعبة للغاية، وجميع النماذج تفشل في وقت واحد. لا يمكن لأي قدر من التوجيه تجاوز الافتقار إلى القدرة الأساسية.
-
البيئات المرتبطة بالقابلية للتنفيذ (مثل العلوم على مستوى الدراسات العليا): يقترب معدل الفشل المشترك من الصفر، مما يعني أن نموذجًا واحدًا على الأقل في المجموعة يعرف الإجابة عادةً. ومع ذلك، فإن النماذج تختلف بشكل دقيق لدرجة أن طبقة التوجيه لا يمكنها اختيار الإجابة الصحيحة بشكل موثوق دون وجود أوراكل كلي العلم.
التحقق من السلامة قبل النشر بقيمة 0 دولار
قبل تخصيص ساعات الهندسة لبناء جهاز توجيه، يمكن للفرق حساب سقف الأداء المطلق مجانًا باستخدام معادلة رياضية تسمى ارتباط Clopper-Pearson.
يعمل ارتباط Clopper-Pearson كآلة حاسبة للسيناريو الأسوأ. إذا قمت بقلب عملة معدنية عشر مرات وحصلت على ثمانية صور، فلا يمكنك ضمان أن العملة ستستقر على الصورة بنسبة 80% من الوقت إلى الأبد. يأخذ الرابط عينة صغيرة من أسئلة الاختبار ويخرج سقفًا مضمونًا رياضيًا.
وبالتطبيق على النماذج اللغوية، لنفترض أن فريقًا اختبر مجموعة من خمسة وكلاء في 50 عينة من الاستعلامات ووجد أنهم جميعًا يفشلون معًا في سؤالين فقط. قد يفترض المطور أن نظامه متعدد الوكلاء سيحقق دقة بنسبة 96% في الإنتاج. وتعمل صيغة كلوبر-بيرسون على تصحيح هذا التفاؤل. فهو يحلل حجم العينة الصغير ويوفر ضمانًا رياضيًا بأن معدل الفشل المشترك الحقيقي يمكن أن يصل في الواقع إلى 12%.
لاستخدام هذا في الممارسة العملية، يجب على المؤسسات إنشاء مجموعة بيانات محفوظة. على سبيل المثال، يمكن لشركة التكنولوجيا المالية أن تحصل على 200 تذكرة معقدة لدعم العملاء من الربع السابق وأن تطلب من الوكلاء البشريين كتابة قرارات مثالية لتكون بمثابة معيار. في حين أن هذا يبدو وكأنه مشروع يدوي ثقيل، إلا أن فرق الهندسة الناضجة يمكنها أتمتة حساب السقف بالكامل.
"التكامل أمر تافه: فهو مهمة عد لسجلات التقييم التي تنتجها الفرق بالفعل،" يلاحظ تشين، "لذلك يتم تشغيله في نفس مرحلة CI مثل مجموعة التقييم ويتم إعادة تشغيله كلما تغير تجمع النماذج أو عبء العمل."
يقوم الفريق الهندسي بعد ذلك بإجراء نماذجه المرشحة على هذه التذاكر الـ 200 مرة واحدة ويسجل النتائج. عندما يريدون تقييم التكوينات متعددة النماذج، يمكنهم استخدام مقياس معدل الفشل المشترك للتنبؤ بأقصى قدر من الدقة يمكنهم الحصول عليه من النظام دون تشغيل استعلامات إضافية.
أحد الاستنتاجات المهمة التي توصلت إليها الدراسة هو أنه في المهام التي يمكن التحقق من الإجابات فيها بشكل نهائي، نادرًا ما يتفوق دمج النماذج على استخدام النموذج الأفضل في السوق، ما لم يمتلك الفريق إشارة توجيه قوية بشكل استثنائي على مستوى الاستعلام.
في بيئة المؤسسة، تكون للمهمة التي تم التحقق منها بشكل نهائي إجابة موضوعية لا تقبل التسامح مطلقًا. يتضمن ذلك إنشاء استعلام SQL يجب تنفيذه دون أخطاء، أو استخراج إجمالي فاتورة محددة من ملف PDF مكون من 50 صفحة، أو تنسيق حمولة JSON التي تتطابق تمامًا مع مخطط صارم. بالنسبة لهذه المهام، عادة ما تكون الشركات أفضل حالًا في دفع علاوة مقابل النموذج الحدودي الأذكى بدلاً من نسج ثلاثة نماذج أرخص معًا والأمل في أن يختار جهاز التوجيه الإخراج الصحيح. لم تختبر الدراسة مهامًا ذاتية غير مصنفة مثل صياغة نسخة تسويقية – لاحظ المؤلفون أن ما إذا كانت هذه النتائج خارج نطاق معاييرها التي يمكن التحقق منها يظل سؤالًا مفتوحًا.
ونظرًا لأن هذا الفحص الرياضي مجاني، يمكن لفرق المؤسسة تتبع معدلات الفشل المشترك الخاصة بها مع انخفاض النماذج الجديدة.
"لا يكلف القياس شيئًا، لذلك يمكن لأي فريق تتبع معدل الفشل المشترك الخاص به عبر أجيال النماذج ومراقبة ما إذا كان الذيل قد انتهى أم لا." يقول تشين. أخيرًا، "إن الرافعة التي يمتلكها المشترون هي عدم تجانس وضع الفشل وتقلب السوق، وليس عدد النماذج."
