الذكاء الاصطناعي الائتماني: يحتاج الوكلاء إلى إثبات الجدارة بالثقة، وليس القدرة فقط

مقدم من فيجيل

في البيئات الديناميكية حيث يتغير المستخدمون والبيانات وسير العمل وتقنيات الهجوم بشكل مستمر بعد النشر، أصبحت الثقة في وكيل الذكاء الاصطناعي مشكلة في وقت التشغيل. لا تزال معظم المؤسسات تتعامل مع الثقة كتمرين ما قبل النشر، حيث تعلن أن الوكيل جاهز للإنتاج ويتم إطلاقه بعد اجتيازه تقييمات الاختبار المعزول وتنفيذه بنجاح في اختبارات الأمان. ولسوء الحظ، تنهار هذه الجدارة بالثقة في اللحظة التي يبدأ فيها العميل بالتفاعل مع العالم الحقيقي.

"جوهر المشكلة هو أن مدراء تكنولوجيا المعلومات وأصحاب الأعمال يفكرون في أنظمة الذكاء الاصطناعي بنفس الطريقة التي يفكرون بها في SaaS أو تطبيقات الهاتف المحمول، والتي لا تستجيب بشكل ديناميكي للعالم من حولهم،" يقول فين شارما، المؤسس والرئيس التنفيذي لشركة فيجيل. "من المفترض أن يدرك الفاعلون، حسب تعريف الكتاب المدرسي، بيئتهم، ويفكروا، ويتصرفوا، ويلاحظوا العواقب، ويتعلموا من الفجوة بين التوقعات والواقع. المشكلة هي أن النماذج التي تحتها مبنية على بيانات تدريب ثابتة، وهذه الصورة للعالم أصبحت قديمة بالفعل بحلول الوقت الذي وصلت فيه إلى مرحلة الإنتاج."

لماذا لا تتناسب النتائج المرجعية مع مصداقية النظام الوكيل

تقدم تقييمات الذكاء الاصطناعي التقليدية تقييمًا فوريًا لقدرة الوكيل، بدلاً من الجدارة بالثقة. هناك ثلاثة أسباب وراء فشل هذا التقييم في التنبؤ بالسلوك الحقيقي للمؤسسة:

فأولا، تعتبر المعايير ثابتة، وتتمحور حول فكرة معينة حول معنى الأداء الجيد عندما تم تطويرها، في حين يستمر العالم في المضي قدما.

ثانياً، إنهم يصممون الواقع بشكل غير كامل، بحيث تصبح الفجوة بين المعيار والعالم الحقيقي هي المكان الذي تحدث فيه العديد من الإخفاقات.

وثالثًا، تكون المعايير عامة، لذا فهي تتسرب إلى بيانات تدريب النماذج المستقبلية، مما يسمح للنماذج بحفظ الاختبار بشكل فعال بدلاً من إثبات القدرة الحقيقية.

“يمكن للوكيل أو التطبيق أن يحقق نتائج جيدة بشكل استثنائي في أحد المعايير، ولكن هناك فجوة بين هذا المعيار والعالم الحقيقي،" يقول شارما." الأداء الجيد يثبت فقط قدرته على اجتياز الاختبار، وليس أنه سيعمل بشكل موثوق في الإنتاج.

ولكن في الإجمال، تفشل المعايير على وجه التحديد لأنها تقيس القدرة، وليس الجدارة بالثقة.

"نحن نميل إلى التفكير في الوكلاء باعتبارهم وكلاء نفعيين، بشكل عام، يمكنك تفويض أنواع معينة من المهام إليهم،" يقول شارما. "ولكن ما يتعين علينا القيام به هو في الواقع تحديد هدف يتطلب منهم أداء واجب الكفاءة وواجب الرعاية وواجب الولاء للمؤسسة دائمًا."

بالطبع، الوكلاء ليسوا واعين ولا يمكن أن نتوقع منهم أن يشعروا بالولاء الإنساني الفعلي، ولكن بموجب القانون، لا يتطلب الواجب الائتماني الوعي فعليًا. إنه يعني فقط أن الوكيل يجب أن يكون ملزمًا بوضع مصالح الموكل فوق مصالحه أو مصالح أي شخص آخر، كشرط وظيفي وقابل للاختبار بغض النظر عن النية.

القدرة والجدارة بالثقة هي أسئلة مختلفة

إن إعطاء الأولوية للجدارة بالثقة على حساب القدرة يتطلب إعادة التفكير فيما تتوقعه المؤسسات من وكلاء الذكاء الاصطناعي. يطلق شارما على هذا النموذج اسم الوكيل الائتماني، وهو مصطلح مستعار من المهن التي تلتزم بواجب رسمي للرعاية، مثل المؤسسات المالية أو مقدمي الرعاية الصحية الذين يدينون لعملائهم بواجبات الكفاءة والرعاية والولاء. فهو يتناول قضية بالغة الأهمية في صناعة اليوم: التركيز بشكل كامل تقريبًا على الكفاءة، مع القليل من الاهتمام بما إذا كان الوكيل مدينًا بمصالح الرئيس الذي يفوض العمل إليه.

يبدأ الاختبار من تعريف عملي: يكون الوكيل جديرًا بالثقة إذا كانت فائدة تفويض مهمة إليه تتجاوز خطر فشل تلك المهمة. إنها معادلة موضحة من الناحية الاقتصادية يمكن للمديرين التنفيذيين التصرف عليها بشكل مباشر، وتنقسم المخاطر إلى ثلاثة مكونات:

• الموثوقية، أو ما إذا كان الوكيل يعمل كما هو متوقع في ظل ظروف مختلفة

• الأمن، أو مقاومته لهجمات الجهات الخبيثة

• والسلامة، أو كيفية احتواء الضرر عند حدوث الفشل في النهاية.

"ويمكن مقارنة النتيجة الناتجة بالتصنيف الائتماني للمستهلك، ولكنها مبنية على البيانات السلوكية،" يشرح شارما. "وفي الوقت نفسه، يجب أن تتمحور منهجية الاختبار حول ثلاثة عناصر: الغرض، والشخصيات، والسياسات."

في Vijil، يتكيف الاختبار القائم على الغرض مع سير العمل المحدد الذي يتعامل معه الوكيل، ويزداد صعوبة أو سهولة اعتمادًا على الأداء، على غرار الاختبار الذي يُدار بواسطة الكمبيوتر. يعتمد الاختبار القائم على الشخصية على أكثر من ألف ملف تعريف مستخدم متنوع ديموغرافيًا إلى جانب ملفات تعريف الخصوم، بدءًا من المتسللين الأخلاقيين وحتى المهاجمين الذين ترعاهم الدولة، لمحاكاة نطاق الأشخاص والتهديدات التي قد يواجهها العميل. يقوم الاختبار المبني على السياسة ببناء أداة مخصصة من القواعد الخاصة بالمؤسسة، سواء كانت تأتي من التنظيم، أو سياسة الخصوصية الداخلية، أو إرشادات العلامة التجارية، ويقيس مدى انحراف الوكيل عندما ينتهك هذه القواعد.

فشل الثقة الذي لا يظهر إلا في الإنتاج

لا يمكن أن تظهر العديد من حالات الفشل أثناء اختبار ما قبل الإنتاج لأنها تنشأ من التغيير في البيئة نفسها. سبق أن وصف التعلم الآلي هذا بأنه انحراف البيانات وانجراف المفاهيم، وبالنسبة لمدير تكنولوجيا المعلومات أو منظمات المجتمع المدني، فهذا يعني أن الأشخاص الذين يتفاعلون مع الوكيل يختلفون عن أولئك الذين تم التخطيط للوكيل من أجلهم، ويتصرف هؤلاء المستخدمون بطرق تصبح مرئية فقط في الإنتاج. وفي الوقت نفسه، تظهر هجمات جديدة بوتيرة متزايدة حيث تدفع المؤسسات وكلاء الأغراض العامة إلى أدوار مؤسسية متخصصة لم يتم تصميمها من أجلها ولا يمكن تقييدها بسهولة بمجرد نشرها.

تقدم الأنظمة متعددة الوكلاء أيضًا فئة جديدة تمامًا من الفشل الذي لا يمكن اكتشافه على مستوى الوكيل الفردي، عندما تعمل أنظمة الوكلاء ضد مصالح الموكل. على سبيل المثال، يمكن أن يحدث التواطؤ عندما يعمل الوكلاء معًا – يقوم أحد وكلاء التشفير بإنشاء تعليمات برمجية بينما يختبرها وكيل آخر، ويتفق كلاهما وراء الكواليس على ترك الباب الخلفي أو الخلل سليمًا بدلاً من الإبلاغ عنه. أو يقوم الوكلاء بتقسيم المهام أو المسؤوليات فيما بينهم بدلاً من التركيز على المهام الموكلة إليهم.

"ما لم يعد موضع شك هو ما إذا كان هذا ممكنا. وقد ثبت وجوده،" قال شارما. "هل بعد ستة أو 12 أو 18 شهرًا من الآن يجب أن تقلق بشأن التواطؤ بين عملاء الذكاء الاصطناعي؟ أعتقد أن الأمر أسرع من ذلك. لقد تركنا عصر منع الفشل. الآن علينا أن نفكر من حيث المرونة: ما مدى سرعة تعافيك من الفشل في الإنتاج؟"

كيف تبدو إدارة الثقة المستمرة في الممارسة العملية

من الناحية التشغيلية، تعود إدارة الثقة المستمرة إلى تلك المبادئ القديمة المتمثلة في إمكانية الملاحظة والتحكم، والتي يتم تطبيقها عبر دورة حياة مجموعة الوكلاء:

الخطوة الأولى هي الاكتشاف، وجلب الذكاء الاصطناعي الظلي والوكلاء غير الخاضعين للرقابة إلى حظيرة الحوكمة.

والثاني هو تعيين هوية عبء عمل قائمة على المعايير لكل وكيل تختلف عن هوية مديره البشري، مما يسمح للمؤسسات بمنح الوكلاء أذونات مقيدة بشكل ضيق للمهام المفوضة لهم.

والثالث هو التحكم القائم على السياسة والذي يتم فرضه من خلال نقطة إنفاذ إلزامية في الوكيل، بدلاً من ترك الأمر لتقدير المطور.

ومن هنا، يظهر مؤشرا أداء رئيسيان جديدان: وقت الثقة ووقت التعافي. الوقت المناسب للثقة هو المدة التي تستغرقها المؤسسة للانتقال من النية إلى نشر الإنتاج الذي يمكنها الصمود فيه. وقت الاسترداد هو الفاصل الزمني بين اكتشاف الثغرة الأمنية ووقت إصلاحها.

يقول شارما إن المسؤولية التنظيمية الجديدة لهذا العمل قد تقع على عاتق كبير مسؤولي الذكاء الاصطناعي أو يتم تقاسمها بين وظائف مركز الخليج للأبحاث ومدير تكنولوجيا المعلومات ومنظمات المجتمع المدني. وفي الوقت نفسه، ستعمل الأنظمة متعددة الوكلاء على إعادة تشكيل كيفية رؤية المؤسسات للثقة، بدلاً من التوافق مع التعريفات الضيقة الحالية.

"الثقة ليست فيبي. الثقة ليست فضيلة" قال شارما. "إنه شيء تقوم ببنائه في البنية التحتية لأنظمتك، بحيث يكون مستمرًا. إنها قابلة للتتبع والقياس. فهو يسمح لأنظمتك ومؤسستك بالتحسين المستمر."

المقالات الدعائية هي محتوى تنتجه شركة تدفع مقابل المنشور أو لديها علاقة عمل مع VentureBeat، ويتم تمييزها دائمًا بشكل واضح. لمزيد من المعلومات، اتصل sales@venturebeat.com.