مقدمة من NTT DATA AIVista
توصل بحث VentureBeat لشهر يونيو إلى أن 69% من المؤسسات لا تزال تدير وكلاء الذكاء الاصطناعي الذين يتشاركون بيانات الاعتماد، وهي ممارسة مرتبطة بارتفاع معدلات الحوادث الأمنية والحوادث الوشيكة.
ولكن في VB Transform 2026، جادل موكيش كاركي، المدير التنفيذي للتكنولوجيا في NTT DATA AIVista، ومايانك أوبادهياي، كبير مسؤولي الأمن والثقة في Snowflake، بأن إصلاح الهوية ليس سوى خطوة أولى. تحتاج المؤسسات أيضًا إلى ترخيص على مستوى الإجراء ومسارات تدقيق مقاومة للتلاعب مدمجة في كل تفاعل للوكيل إذا كانت ستنشر أنظمة مستقلة بأمان على نطاق واسع.
"يجب أن تكون هذه المنظمات قادرة على أن تثبت لمدققيها بطريقة مقاومة للتلاعب أن تلك السجلات التي تظهر ما فعلوه تثبت بالفعل ما يفعلونه،" قال كركي. "وقابلية الإثبات هي في الأساس ترخيصك للعمل في بيئة تنظيمية."
لماذا تتسبب بيانات الاعتماد المشتركة في حوادث أمنية للذكاء الاصطناعي
المشكلة، كما يقول أوبادهياي، هي أن العديد من الافتراضات تم نقلها من جيل سابق من البرمجيات.
"في عالم البرمجيات التقليدية، ينقر الإنسان على مكان ما ويقوم البرنامج بشيء محدد للغاية، وأنت تعرف واجهة برمجة التطبيقات (API) التي سيستدعيها،" قال. "لكن في العالم الوكيل، يمتلك البرنامج عقلًا خاصًا به، وهو يقوم بإعادة توصيل نفسه باستمرار. إذا منحت هذا البرنامج إذنًا أكثر مما يحتاجه لهدف معين، فسيكون الوكلاء استكشافيين بطبيعتهم، لذا سيحاولون تجربة الكثير من الأشياء المختلفة، وسيكون لديك آثار جانبية غير مقصودة."
وأضاف أن تضمين مفتاح API ثابت واحد يؤدي إلى تفاقم التعرض.
"إنه نمط سيء حقًا إذا كان لديك مفتاح API واحد، وقمت بإدخاله في الوكيل، وهو يتحدث مثل أي شخص إلى خدمة SaaS معينة، لأنك بعد ذلك تمنح هذا الوكيل اتحاد احتياجات الجميع،" وقال، مشيرا إلى أن وضع الفشل الثاني هو الطب الشرعي، منذ ذلك الحين "قد تسوء الأمور، ولن تتمكن من إسناد ذلك إلى الوكيل المناسب."
إن بيانات الاعتماد المحددة النطاق ليست سوى نقطة البداية في الصناعات الخاضعة للتنظيم
يتعامل كركي، الذي يعمل معظم عملائه في مجال التأمين والرعاية الصحية والتمويل، مع أوراق الاعتماد المحددة النطاق على أنها حصص على الطاولة.
"في بيئة تنظيمية، لن يتم تشغيل الوكيل الذي لا يتمتع بنطاق واسع باستخدام بيانات اعتماد النطاق المشترك، لفترة،" قال كركي. "إن الحصول على بيانات اعتماد النطاق هو مجرد نقطة بداية. هناك في الواقع اثنين من القيود الطبقات. الأول هو الاختصاص القضائي الذي يعمل فيه الوكيل، ومن ثم الاختصاص القضائي أو قواعد تلك المنظمة."
على سبيل المثال، يعمل وكيل تسوية المطالبات في ولاية واشنطن وفق لوائح مختلفة عن تلك الموجودة في كاليفورنيا، كما يضيف، وكل مطالبة مختلفة.
"إن بيانات الاعتماد المحددة النطاق هذه ليست كافية، لأنه يجب أن تكون قائمة على الإجراء ومستندة إلى القواعد في وقت اتخاذ الإجراء،" وأضاف.
حيث ينهار تشبيه الموظف بعملاء الذكاء الاصطناعي
وقال كركي إن تشبيه الموظف لا يذهب إلا إلى أبعد من ذلك. لا يزال الوكلاء بحاجة إلى تعلم السياق الفريد للمؤسسة، مثلما يفعل الموظف الجديد. ولكن على عكس البشر، لا تستطيع الشركات بناء الثقة بشكل واقعي مع آلاف الوكلاء بمرور الوقت.
قال كركي: “قد لا يكون الموظف المتميز في إحدى المنظمات هو أفضل موظف عندما ينتقل إلى مؤسسة مختلفة، ليس لأنه أصبح أسوأ، ولكن لأنه لا يمتلك سياق هذا المكان الجديد، وينطبق الشيء نفسه على الوكلاء”. “إذا كان لدى كل موظف 100 وكيل، فلا يمكنك القول أنك ستضم هؤلاء الوكلاء وتقوم بالتحقق من خلفيتهم”.
وقال أوبادهياي إن التشبيه بالموظف يجب أن يضع الوكلاء في درجة أدنى في التسلسل الهرمي التنظيمي.
"عاملهم مثل المتدربين،" اقترح. "لديهم نوايا حسنة، لكنهم لا يعرفون دائمًا ما يفعلونه، وعليك أن تراقبهم أثناء بناء الثقة تدريجيًا."
على منصة Snowflake، يمكن للمسؤولين فرض حواجز حماية على مستوى النظام الأساسي مثل عمليات القراءة فقط، بينما يقوم المطورون بتضييق نطاق أذونات الوكيل عند إطلاق كل جلسة.
نهج ثلاثي الطبقات لحوكمة وكيل الذكاء الاصطناعي
يقول كركي: ليس هناك شك في أين ينتمي الحكم.
"يجب أن تحدث الحوكمة في كل إجراء يقوم به الوكيل، ويجب أن تكون خارج الوكيل،" وأوضح. "هذه هي الطريقة الوحيدة التي ستتمكن بها لاحقًا من إثبات أن الوكيل اتخذ الإجراء المسموح له باتخاذه."
قسم Upadhyay الحكم إلى ثلاث طبقات:
تغطي طبقة الوكيل الهوية وأذونات الأداة وإدارة MCP.
تعالج طبقة النموذج الإدخال الفوري غير المباشر وتمكن النماذج من التشغيل داخل VPC الخاص بالعميل بحيث تظل المطالبات غير مرئية لموفر النموذج.
تغطي طبقة البيانات الوصول الأقل امتيازًا، وبنية النسخة الصفرية، والتحكم في الوصول المستند إلى الدور.
لكي يعمل الوكلاء بشكل صحيح، يلزم وجود حوكمة في جميع المجالات الثلاثة.
ما هي الشركات التي يجب أن تدقق أولا
بالنسبة للمؤسسات التي تقوم بمراجعة حوكمة وكلاء الذكاء الاصطناعي الحاليين، يوصي أوبادهياي بالبدء في مكانين. الأول هو تدقيق أذونات الأسرار الثابتة، وهو أكبر ناقل هجوم قابل للإصلاح. التالي هو معالجة ظل الذكاء الاصطناعي من خلال بوابة MCP، لذلك لم يعد المطورون مضطرين إلى تشغيل خوادم MCP مفتوحة المصدر غير قانونية تحت مكاتبهم ويتمتع المسؤولون برؤية من يتحدث إلى أي خادم MCP.
هناك مقايضة بين القيد والقدرة، ويمكن معالجة ذلك على مستوى المهمة، مع استخدام نقاط الثقة لمنع التنفيذ المستقل في الإجراءات عالية المخاطر، ووضع الحماية كمسار وسط. لكن كركي يحذر الشركات من توسيع نطاق أنظمتها الوكيلة بالفعل.
"لا يمكن تعديل الكثير من هذا بعد أن يكون لديك نظام وكيل قيد التشغيل، ومن الصعب تعديله إذا كان عليك أن تثبت للمدققين سبب تصرف الوكيل بالضبط بالطريقة التي تصرف بها." وأوضح. "يجب أن يتم بناء القابلية للإثبات من الأساس عند تصميم النظام."
المقالات الدعائية هي محتوى تنتجه شركة تدفع مقابل المنشور أو لديها علاقة عمل مع VentureBeat، ويتم وضع علامة واضحة عليها دائمًا. لمزيد من المعلومات، اتصل sales@venturebeat.com.
