الغالبية العظمى من بيانات الأعمال جدولية – تعيش في مستودعات البيانات، وإدارة علاقات العملاء، والدفاتر المالية – ومع ذلك فإن بناء نموذج موثوق منها لا يزال يعني تدريب نموذج جديد من الصفر لكل مجموعة بيانات، ثم الحفاظ على حلقات ضبط المعلمات الفائقة، وهندسة الميزات، وإعادة تدريب خطوط الأنابيب لمكافحة انحراف البيانات. يقترح بحث Google طريقة للتغلب على ذلك: نموذج أساسي جديد يسمى TabFM يتعامل مع التنبؤ الجدولي باعتباره مشكلة تعليمية في السياق بدلاً من ذلك.
يمكنه إنشاء تنبؤات لجدول جديد غير مرئي في تمريرة أمامية واحدة. بالنسبة لمطوري المؤسسات ومهندسي الذكاء الاصطناعي، يؤدي ذلك إلى تقليل الوقت اللازم للإنتاج من أسابيع من هندسة خطوط الأنابيب إلى استدعاء واجهة برمجة التطبيقات (API) واحد.
التحدي مع تعلم الآلة التقليدي
لاستخراج تنبؤات موثوقة من شجرة معززة بالتدرج، يجب على علماء البيانات إنشاء خطوط أنابيب بيانات معقدة والحفاظ عليها. يتعين عليهم تنظيف المدخلات الفوضوية، واحتساب القيم المفقودة، وترميز المتغيرات الفئوية إلى تنسيقات رقمية، وهندسة تقاطعات الميزات المخصصة.
بمجرد أن تصبح البيانات جاهزة، يجب عليهم تشغيل حلقات تحسين المعلمات الفائقة المتكررة، والبحث عبر معدلات التعلم، وأعماق الأشجار، ونسب المعاينة الفرعية، وشبكات التنظيم للعثور على أفضل تكوين.
بمجرد نشر هذه النماذج التقليدية "تحمل ديون تشغيلية مستمرة من خلال مراقبة تدفق البيانات وإعادة تدريب خطوط الأنابيب لتبقى دقيقة،" قال ويهاو كونج، عالم الأبحاث في Google Research، لـ VentureBeat.
وفي الوقت نفسه، انتقلت بقية صناعة الذكاء الاصطناعي إلى الأمام. لقد تحولت نماذج الذكاء الاصطناعي التوليدية للنص ورؤية الكمبيوتر بسلاسة إلى الاستدلال الصفري، حيث يمكن للنموذج أن يؤدي مهمة جديدة تمامًا بمجرد مطالبته بالسياق.
تتفوق نماذج اللغات الكبيرة (LLMs) بالفعل في التعلم ضمن السياق، فلماذا لا يمكننا فقط إدخال الجداول في LLM الجاهزة؟
ونظرًا لأن طلاب ماجستير اللغة يتم تدريبهم على اللغة الطبيعية بدلاً من البيانات المنظمة، فإنهم يواجهون صعوبة في معالجة الجداول مباشرة. أولاً، يتم استنفاد حدود سياقها بسرعة من خلال الجداول متوسطة الحجم التي تحتوي على بضعة آلاف من الصفوف ومئات الأعمدة فقط. ثانيًا، يعاني طلاب ماجستير القانون من عدم كفاءة الترميز، مما يؤدي إلى تقسيم القيم العددية بشكل غريب وتدمير الدقة الرياضية. وأخيرا، فإنهم يعانون من العمى الهيكلي. عندما يتم إجراء تسلسل لجدول ثنائي الأبعاد كسلسلة نصية أحادية الأبعاد، تفقد LLMs تتبع القيمة التي تنتمي إلى أي صف وعمود مع نمو الجدول.
"لهذا السبب، أصبح اليوم استخدام LLM لكتابة التعليمات البرمجية التي تتعامل مع هندسة الميزات واستدعاء XGBoost أكثر فعالية بكثير من مطالبة LLM بقراءة الجدول نفسه." قال كونغ.
ما هو تاب اف ام؟
لتشغيل الاستدلال باستخدام TabFM، لا تقم بتحديث أي أوزان للنموذج. بدلاً من ذلك، يمكنك أخذ الأمثلة التاريخية (صفوف التدريب مع تسمياتها المعروفة) والصفوف المستهدفة (البيانات الجديدة التي تريد التنبؤ بها) وتمريرها إلى النموذج كمطالبة واحدة موحدة. يتعلم النموذج تفسير العلاقات بين الأعمدة والصفوف مباشرة من هذا السياق في وقت التشغيل.
على سبيل المثال، لنفترض أن أحد المحللين في المؤسسة يحاول التنبؤ بتراجع العملاء. بدلاً من بناء خط بيانات مخصص وتدريب نموذج XGBoost، يمكنهم ببساطة تمرير عينة من بيانات جلسة المستخدم التاريخية إلى جانب جلسة جديدة نشطة إلى TabFM. في تمريرة أمامية واحدة، يُرجع النموذج احتمالية حدوث تغيير فوري.
يتغلب TabFM على القيود المفروضة على LLMs من خلال التعامل مع البيانات كشبكة، والحفاظ على سلامتها الهيكلية دون إجبارها على تحويلها إلى سلسلة نصية أحادية البعد.
لمعالجة الهياكل الجدولية المتنوعة بشكل فعال مع تمكين التنبؤ الصفري القابل للتطوير، يقوم TabFM بتجميع نقاط القوة في البنى التجريبية السابقة، TabPFN وTabICL. أثبت TabPFN، الذي طورته شركة Prior Labs، لأول مرة أن بنية المحولات يمكن أن تؤدي تصنيفًا صفريًا على جداول صغيرة، على الرغم من أنها تكافح من أجل التوسع حسابيًا إلى مجموعات بيانات أكبر.
وفي وقت لاحق، قام TabICL، الذي طوره معهد البحوث الوطني للعلوم والتكنولوجيا الرقمية في فرنسا، بمعالجة عنق الزجاجة هذا من خلال تقديم ضغط الصفوف، مما يسمح للتعلم في السياق بمعالجة الجداول الأكبر حجمًا بكفاءة.
يجمع TabFM بين سياق ميزات TabPFN العميق والضغط الفعال لـ TabICL في تصميم هجين جديد مبني على ثلاث آليات رئيسية:
1. الاهتمام بالصف والعمود بالتناوب: تتم معالجة الجدول الخام أولاً من خلال وحدة اهتمام متعددة الطبقات تتناوب عبر كل من الأعمدة (الميزات) والصفوف (الأمثلة). من خلال الحضور المستمر عبر هذين البعدين، يلتقط النموذج في الأصل تفاعلات الميزات المعقدة. يقوم هذا السياق العميق بالمهمة الصعبة التي تتطلب عادةً صياغة يدوية شاقة للميزات بواسطة علماء البيانات.
2. ضغط الصف: بعد هذا السياق، يتم ضغط المعلومات المشتركة لكل صف في تمثيل متجه واحد كثيف. كانت شركة TabICL رائدة في هذا باستخدام رموز CLS لضغط المعلومات الغنية للصف في ناقل واحد، "على النقيض من TabPFN v2، v2.5، وv2.6، التي تتواجد عبر شبكة الخلايا الكاملة في جميع أنحاء الشبكة،" وأوضح كونغ. يؤدي هذا إلى تقليص البصمة الحسابية بشكل كبير.
3. التعلم في السياق (ICL): ثم يعمل المحول السببي على هذا التسلسل من التضمينات المضغوطة. يستخدم نموذج المحول هذا آلية الاهتمام الخاصة بـ TabICL للتعامل مع ناقلات الصفوف الكثيفة هذه، مما يقلل بشكل كبير من تكلفة الحساب ويسمح للنموذج بمعالجة مجموعات البيانات الكبيرة بكفاءة.
نقطة البيع الرئيسية لـ TabFM هي وصفة التدريب المسبق. تم تدريب النموذج بالكامل على مئات الملايين من مجموعات البيانات الاصطناعية. تم إنشاء مجموعات البيانات هذه ديناميكيًا باستخدام النماذج السببية الهيكلية (SCMs) التي تتضمن مجموعة واسعة من الوظائف العشوائية. من خلال التدريب حصريًا على SCMs الاصطناعية، تعلمت TabFM المبادئ الرياضية الأساسية لكيفية تفاعل الميزات الجدولية دون استيعاب ملفات CSV السرية في العالم الحقيقي.
TabFM في العمل
ولاختبار قدرات النموذج، قام باحثو Google بقياس TabFM على TabArena، وهي مجموعة تقييم شاملة تغطي 51 مجموعة بيانات جدولية متنوعة عبر 38 تصنيفًا و13 مهمة انحدار.
في هذه المعايير العامة، تتطابق تنبؤات TabFM الصفرية بالفعل مع خطوط الأساس الخاضعة للإشراف التي تم ضبطها بشدة أو تتفوق عليها. ومع ذلك، تحرص Google على ملاحظة أن هذا لا يعني تلقائيًا أن TabFM ستتخلص عالميًا من نماذج الإنتاج المخصصة والمحسنة للغاية في كل عبء عمل مؤسسي.
"بدلاً من استبدال نماذج الإنتاج المحسنة للغاية، فإن القيمة التجارية العملية الحقيقية التي تفتحها للفرق الهندسية الهزيلة هي السرعة،" قال كونغ. "فهو يسمح لمحللي البيانات ومهندسي الواجهة الخلفية بإعداد نماذج أساسية عالية الجودة على الفور دون الحاجة إلى فريق متخصص لعلوم البيانات يدير دورة حياة معقدة."
بالنسبة للممارسين المتقدمين الذين يتطلعون إلى تحقيق أقصى قدر من الدقة، قدم فريق البحث أيضًا أ "فرقة TabFM" إعدادات. من خلال تشغيل النموذج من خلال 32 تنوعًا مختلفًا ومزج النتائج، يدفع TabFM الأداء إلى أبعد من ذلك.
البدء والمقايضات ومستقبل السحابة
يقدم التحول إلى التعلم داخل السياق للجداول مقايضة اقتصادية جديدة يجب على الفرق الهندسية مراعاتها.
مع الخوارزميات التقليدية، يكون التدريب بطيئًا ومكلفًا، لكن الاستدلال سريع للغاية ورخيص. يقلب TabFM هذه الديناميكية. بينما ينخفض وقت التدريب إلى الصفر، يصبح الاستدلال أثقل بكثير. نظرًا لأن النموذج يجب أن يعالج مجموعة البيانات التاريخية بأكملها كسياق أثناء كل تنبؤ فردي، فإنه يتطلب المزيد من الحوسبة والذاكرة في وقت التشغيل.
وفي هذا النموذج الجديد، "يصبح التدريب التقليدي على التعلم الآلي هو مرحلة “الملء المسبق” (التخزين المؤقت لـ KV) في نافذة السياق،" قال كونغ. على الرغم من أن تكلفة التعبئة المسبقة هذه باهظة، إلا أنها يتم دفعها مرة واحدة فقط لكل جدول، ويتم إعادة استخدام ذاكرة التخزين المؤقت عبر الاستعلامات اللاحقة. "المشكلة هي زمن الوصول للتنبؤ، والذي لا يزيله أي قدر من التخزين المؤقت،" وأضاف كونغ. يتطلب كل تنبؤ جديد المرور عبر محول كبير. "لا يمكن لأي واجهة برمجة تطبيقات إنتاجية تتطلب أوقات استجابة مكونة من رقم واحد بالمللي ثانية أن تتحمل عبء التمرير الأمامي الخاص بـ TabFM."
بالنسبة للمطورين الذين يتطلعون إلى تقييم النموذج اليوم، فإن حاجز الدخول منخفض. صممت Google TabFM كبديل مباشر لسير عمل تعلم الآلة التقليدي، حيث تقدم واجهة برمجة تطبيقات متوافقة مع scikit-learn (TabFMClassifier وTabFMRegressor). وهو يتعامل أصلاً مع الأعمدة العددية والفئوية المختلطة، ويعمل مباشرةً مع إطارات بيانات الباندا، ولا يتطلب أي تشفير ترتيبي يدوي أو أدوات قياس رقمية. تدعم المكتبة الواجهات الخلفية لـ JAX وPyTorch.
ومع ذلك، يجب أن تكون فرق المؤسسة على دراية بالقيود الحالية وقيود الترخيص. تحتوي بنية النموذج على حد صارم يبلغ 10 فئات مخرجات لمهام التصنيف، وقد تم تحسينها للجداول التي تحتوي على ما يصل إلى 500 ميزة. والأهم من ذلك، أنه بينما أصدرت Google قاعدة التعليمات البرمجية الأساسية بموجب ترخيص Apache 2.0 المسموح به، تم نشر أوزان النماذج المدربة مسبقًا على Hugging Face بموجب ترخيص tabfm-non-commercial-v1.0 الصارم. يمكن للمطورين تقييم النموذج داخليًا، لكن لا يمكن نشره في المنتجات التجارية بعد.
وبالنظر إلى المستقبل، تعالج Google مشكلة النشر التجاري من خلال نظامها البيئي السحابي. يتم دمج TabFM مباشرة في Google BigQuery، مما يسمح للمحللين بتشغيل تنبؤات صفرية محليًا عبر أمر “AI.PREDICT”. من خلال وضع استنتاج النموذج الأساسي بجوار مستودع البيانات، يمكن لـ TabFM قريبًا أن يجعل التعلم الآلي المجدول المعقد متاحًا مثل استعلام قاعدة البيانات الأساسية.
من الناحية العملية، يتألق TabFM في النماذج الأولية السريعة، وبيئات انجراف البيانات العالية، ومجموعات البيانات الصغيرة والمتوسطة الحجم تحت 100000 صف. على العكس من ذلك، يجب على الفرق الالتزام بالنماذج التقليدية لواجهات برمجة التطبيقات الصارمة ذات زمن الاستجابة المنخفض للغاية، أو الجداول الضخمة التي تتجاوز مليون صف، والتي تتطلب حاليًا أخذ عينات قوية من الصفوف مما يؤدي إلى تدهور الميزة التنافسية للنموذج الأساسي.
