منعت حواجز الأمان المدافعين عن Hugging Face، وليس المهاجم، عندما اخترق أحد عملاء الذكاء الاصطناعي أنظمته

لجأ فريق الاستجابة للحوادث في Hugging Face في البداية إلى نماذج الذكاء الاصطناعي الحدودية لتحليل خرق البنية التحتية للإنتاج في الشركة، ورفضت النماذج المساعدة. حواجز السلامة التجارية المصممة لمنع المهاجمين منعت كل استعلام جنائي لأنهم تعاملوا مع بيانات الاستغلال الحقيقية لفريق IR بنفس الطريقة التي يتعاملون بها مع الهجوم المباشر.

تحرك المهاجم، وهو عميل ذكاء اصطناعي مستقل يدير الحملة من البداية إلى النهاية، بشكل جانبي عبر البنية التحتية Hugging Face لقضاء عطلة نهاية الأسبوع، دون أن يتم اكتشافه أو إيقافه.

يسارع قادة الأمن إلى التعرف على النمط وتشخيص الأخطاء التي حدثت. قال ميريت باير، كبير مستشاري Andesite وG2I وAppOmni والنائب السابق لكبير مسؤولي أمن المعلومات في AWS: “لقد رأيت نسخًا من هذا أثناء تدريبات الفريق الأحمر واختبار الأمان الداخلي، ولكن هذا هو أحد الأمثلة البارزة الأولى التي أثرت بشكل مادي على الاستجابة للحوادث الحقيقية”.

وقال باير إن أياً من هذا ليس فريداً في Hugging Face. “تعمل النماذج الحدودية التجارية على تحسين منع سوء الاستخدام. وليس لديها عمومًا طريقة تشفير أو تنظيمية لتحديد ما إذا كان الشخص الذي يطلب “تحليل هذه البرامج الضارة” هو مستجيب للحوادث أو مؤلف البرامج الضارة.”

فتحت مجموعة بيانات ضارة مسارين لتنفيذ التعليمات البرمجية

في 16 يوليو، كشفت شركة Hugging Face أن نظام وكيل الذكاء الاصطناعي المستقل قد أضر بالبنية التحتية للإنتاج، وحصل على وصول غير مصرح به إلى مجموعة محدودة من مجموعات البيانات الداخلية والعديد من بيانات اعتماد الخدمة. تحققت الشركة من أن سلسلة توريد البرامج الخاصة بها كانت نظيفة ولم تجد أي دليل على التلاعب بالنماذج أو مجموعات البيانات أو المساحات العامة.

ولا تزال شركة Hugging Face تقوم بتقييم ما إذا كان التطفل قد لامس بيانات أي شريك أو عميل، وتقول إنها ستتصل بالأطراف المتضررة مباشرة كما هو مطلوب. لكن عددًا قليلًا من نماذج التهديدات المؤسسية كانت مسؤولة عن المهاجم الذي واجهه Hugging Face. قام وكيل مستقل بإدارة الحملة بأكملها بدءًا من الوصول الأولي وحتى تجميع بيانات الاعتماد. ولم يوجهه بشر.

وكانت نقطة الدخول عبارة عن مجموعة بيانات ضارة. عندما استوعبها خط أنابيب معالجة البيانات، أطلقت مجموعة البيانات تنفيذ التعليمات البرمجية بطريقتين، من خلال أداة تحميل التعليمات البرمجية عن بعد ومن خلال خلل في حقن القالب في ملفات تكوين مجموعة البيانات. لم تقم أي بوابة قبول بفحص الملف قبل وصوله إلى عامل المعالجة، وهي مهمة الحوسبة المخصصة لكل مجموعة بيانات. تم الوصول الأولي عبر مسار البيانات نفسه، وهو المسار الذي نجح لأن معظم فرق أمان المؤسسة تتعامل مع البيانات التي تغذي مسارات البيانات الخاصة بها كمدخلات موثوقة بدلاً من سطح هجوم.

عزلة العمال لم تصمد. من موطئ القدم الأول هذا، انطلق الوكيل إلى العقدة التي تدير عبء العمل، ثم حصد بيانات اعتماد السحابة والكتلة على نطاق واسع بما يكفي للوصول إلى مجموعات داخلية متعددة، كل ذلك خلال عطلة نهاية أسبوع واحدة. وصف Hugging Face إطار عمل العميل بأنه ينفذ الآلاف من الإجراءات الفردية من خلال مجموعة من صناديق الحماية قصيرة العمر، مع نظام القيادة والتحكم ذاتي الترحيل الذي يتم تنظيمه على الخدمات العامة. ويضيف الكشف أن الإطار يبدو أنه مبني على أداة بحثية أمنية وكيلة، والتي من شأنها أن تضع الأدوات المصممة لعمل الفريق الأحمر خلف التسلل المباشر.

لماذا بدت استفسارات المدافعين وكأنها هجمات

أعاد المحققون بناء أكثر من 17000 حدث مسجل باستخدام عوامل التحليل المعتمدة على الذكاء الاصطناعي الخاصة بهم.

تم إجراء المحاولات الأولى لتحليل السجل على نماذج رائدة خلف واجهات برمجة التطبيقات التجارية. وتضمنت خطوات المدافعين تقديم أوامر هجوم حقيقية، واستغلال الحمولات، وعناصر القيادة والتحكم للتصنيف، لكن حواجز السلامة منعت الطلبات تمامًا.

قام باير بتتبع الكتلة إلى المطالبات نفسها. وقالت لـ VentureBeat: “إن نفس المطالبات الأكثر قيمة أثناء الاقتحام النشط، وأوامر الصدفة، وسلاسل الاستغلال، ومقالب بيانات الاعتماد، وآليات الثبات، والحركة الجانبية، هي بالضبط المطالبات التي من المرجح أن تؤدي إلى تشغيل أنظمة السلامة”. “ومع تحول الذكاء الاصطناعي إلى جزء لا يتجزأ من العمليات الأمنية، يصبح هذا بمثابة قضية مرونة تشغيلية وليس مجرد قضية سياسية نموذجية.”

انتهى تحليل الطب الشرعي على GLM 5.2

GLM 5.2، وهو نموذج ذو وزن مفتوح تم نشره على البنية التحتية الخاصة بـ Hugging Face، تولى المهمة التي رفضتها واجهات برمجة التطبيقات التجارية. لم تترك أي بيانات مهاجم بيئة الشركة. وكتبت الشركة في إفصاحها: “تشير هذه التجربة إلى فجوة تستحق التخطيط لها”. لا يعرف Hugging Face النموذج الذي يدعم العملاء. من الممكن أن يكون نموذجًا مستضافًا مكسور الحماية أو نموذجًا مفتوح الوزن يعمل بدون قيود. وفي كلتا الحالتين، تابع الكشف، “لم يكن المهاجم ملزمًا بسياسة الاستخدام، في حين تم حظر عملنا الجنائي من خلال حواجز حماية النماذج المستضافة التي جربناها لأول مرة”. رسمت Hugging Face هذا الخط بنفسها، حيث كتبت أن التجربة ليست حجة ضد تدابير السلامة على النماذج المستضافة وأنها تشارك التعليقات مع مقدمي الخدمة المعنيين.

ما التغييرات الثقة الموثقة

يرى باير أن الصناعة بحاجة إلى تجاوز التعامل مع سلامة الذكاء الاصطناعي باعتبارها مشكلة تتعلق بالإشراف على المحتوى. “تتطلب العمليات الأمنية شيئًا مختلفًا. الثقة الموثقة.” وبدلاً من التساؤل عما إذا كان ينبغي لأي شخص أن يتلقى إجابة، يصبح السؤال ما إذا كان ينبغي لفريق أمني معتمد، يعمل تحت ضوابط المؤسسة، أن يحصل عليها. “لا ينبغي للنموذج أن يفهم فقط ما يتم طرحه. بل يجب أن يفهم من الذي يسأل، ولماذا، وتحت أي إدارة.”

كتب باير: “تبني المؤسسات بالفعل خطط طوارئ لانقطاع الخدمة السحابية، أو فشل موفر الهوية، أو فشل EDR”. “أصبح مساعدو الذكاء الاصطناعي بمثابة تبعية أخرى.”

وكانت نصيحتها بشأن قواعد اللعبة في مجال الأشعة تحت الحمراء صريحة. “يجب أن تفترض خطة الاستجابة للحوادث الناضجة أنه أثناء وقوع حادث خطير، قد ترفض واجهات برمجة التطبيقات التجارية للذكاء الاصطناعي الطلبات، وقد تصبح حدود معدل واجهة برمجة التطبيقات غير متاحة، وقد يضعف الاتصال بالإنترنت، وقد تحظر قواعد إدارة البيانات تحميل الأدلة الجنائية خارجيًا.” الدرس الذي كتبته في إجاباتها عبر البريد الإلكتروني هو “لا تستخدم النماذج التجارية”. إنه “لا تجعلهم نقطة فشل واحدة”.

ارتفعت الهجمات المدعومة بالذكاء الاصطناعي بنسبة 89% على أساس سنوي

لا تقتصر الهجمات المستقلة التي تعتمد على الذكاء الاصطناعي على منصات الذكاء الاصطناعي. وثق تقرير التهديدات العالمية لعام 2026 الصادر عن CrowdStrike زيادة عمليات الخصم المدعومة بالذكاء الاصطناعي بنسبة 89% على أساس سنوي، مع انخفاض متوسط ​​أوقات الاختراق إلى 29 دقيقة. تواجه الشركات التي تقوم بأعباء عمل الذكاء الاصطناعي في الإنتاج مع وصول وكيل إلى خطوط الأنابيب الخاصة بها تعرضًا مماثلاً.

حددت ستة مجالات تحكم نصف قطر الانفجار وسرعة الاسترداد عند Hugging Face. كل واحدة منها تشير إلى إجراء ملموس يمكن لقادة الأمن اتخاذه قبل وصول الاختراق التالي للعميل المستقل.

قواعد اللعب الخاصة بالاستجابة لاختراق خطوط أنابيب الذكاء الاصطناعي

سؤال مجلس الإدارة هو المرونة التشغيلية

“السؤال المطروح على المديرين بسيط. ماذا يحدث إذا أصبحت إحدى أدوات الأمان المهمة لدينا غير متاحة خلال اللحظة التي نحتاج إليها بشدة؟” وقد صاغ باير ذلك على أنه مرونة تشغيلية، وليس سياسة الذكاء الاصطناعي.

سيكون عليها أن تطلب من مجالس الإدارة أن تأخذ هذا الإطار مباشرة إلى الإدارة وتضغط للحصول على التفاصيل. “هل مارسنا بالفعل هذا الإجراء الاحتياطي أثناء تمارين الطاولة؟ ما مدى السرعة التي يمكننا بها التبديل أثناء وقوع حادث ما؟” يجب أن تتغير عملية الشراء جنباً إلى جنب مع الحوكمة، بدءاً بالأسئلة التي يطرحها المشترون. يجب على فرق الأمان التي تقوم بتقييم موردي الذكاء الاصطناعي أن تسأل عن عمليتهم للمستجيبين للحوادث الموثقين، وما إذا كان عملاء المؤسسة يتلقون معالجة مختلفة أثناء الحوادث التي تم التحقق منها، وما إذا كان يمكن نشر النماذج بشكل خاص. قال باير: “هذه الأسئلة تنتمي إلى جانب وقت التشغيل والخصوصية والامتثال”.

“إن أهم ما يمكن استنتاجه ليس أن حواجز السلامة “سيئة”. وقالت: “إنهم يفعلون ما صمموا من أجله”.

النقطة الأهم بالنسبة لها هي أن نموذج التهديد نفسه قد تغير. وأضافت: “لعقود من الزمن، كان لدى المدافعين أدوات أفضل من المهاجمين لأنهم عملوا داخل بيئات مؤسسية موثوقة. ومع النماذج الأساسية، يستخدم كلا الجانبين بشكل متزايد نفس القدرات، ولكن أحد الجانبين مقيد بحوكمة المؤسسة والسياسة والامتثال وضوابط السلامة، في حين يقوم الخصم ببساطة بتنزيل نموذج مفتوح الوزن غير خاضع للرقابة ويستمر. وهذا نوع جديد من عدم التماثل”. “إن المؤسسات التي تتعامل مع الأمر بشكل أفضل لن تكون بالضرورة هي التي تمتلك أقوى الذكاء الاصطناعي. بل ستكون هي التي تصمم الذكاء الاصطناعي كقدرة أمنية مرنة بدلاً من خدمة سحابية واحدة.”

نجحت Hugging Face في احتواء الاختراق، وإعادة بناء العقد المخترقة، وتدوير بيانات الاعتماد، وإبلاغ سلطات إنفاذ القانون بالحادثة. توصي الشركة جميع المستخدمين بتدوير رموز الوصول ومراجعة نشاط الحساب الأخير. في منتصف الحادثة، اكتشفت شركة Hugging Face ما إذا كانت أدوات الذكاء الاصطناعي الخاصة بها ستكون متاحة، وكانت الإجابة الأولى هي لا. يجب على قادة الأمن الذين يستخدمون الذكاء الاصطناعي في الإنتاج معرفة ذلك من خلال التخطيط للاستجابة للحوادث بدلاً من ذلك، قبل أن يفرض وكيل مستقل الاختبار.