ميسترال تكشف عن «لو تشونك» بنموذج مفتوح بتريليون معامل

كشفت شركة «ميسترال إيه آي» الفرنسية عن نموذجها الجديد «ميسترال لارج 4»، الملقّب «لو تشونك»، وهو نموذج مفتوح الأوزان يعتمد بنية مزيج الخبراء ويضم 1.05 تريليون معامل، منها 49 مليار معامل نشطة، بحسب ما نقلته منصة «أوبن داتا ساينس». ويتيح النموذج سياقاً يصل إلى مليون رمز.

ودُرّب النموذج من الصفر على مدى شهرين تقريباً باستخدام نحو 4000 وحدة معالجة من نوع «إنفيديا غرايس بلاكويل» في مراكز بيانات أوروبية، ويدعم أكثر من 160 لغة بينها جميع اللغات الرسمية في الاتحاد الأوروبي. وتتوفر نسخة تجريبية عبر «ميسترال ستوديو»، مع وعد بنشر الأوزان كاملة في 27 أكتوبر.

وتقول الشركة إن النموذج يتقدّم على النماذج المفتوحة المطوّرة خارج الصين، مع إقرارها بأنه لا يزال متأخراً عن بعض الأنظمة الحدية في مهام البرمجة. ويرى الشريك المؤسس والعالِم الرئيسي غيّوم لامبل أن النماذج المفتوحة تساعد الحكومات والشركات على الدفاع ضد مهاجمين يستخدمون نماذج مغلقة معدّلة.

ويأتي الكشف في وقت تتنافس فيه أوروبا على بناء قدرة حوسبة سيادية بعيدة عن الاعتماد الكامل على مزوّدي الولايات المتحدة والصين. وتُعدّ الأوزان المفتوحة عاملاً جاذباً للجهات الحكومية والبحثية، لأنها تتيح تشغيل النموذج داخل بنيتها التحتية بدل الاعتماد على خدمات سحابية خارجية.

ماذا تعني هذه المصطلحات؟

مزيج الخبراء (MoE): بنية تقسّم النموذج إلى أجزاء متخصصة، لا يعمل في كل مرة إلا جزء صغير منها، ما يقلّل كلفة التشغيل. المعامل: القيم الرقمية التي يتعلمها النموذج أثناء التدريب، وكلما زاد عددها زادت قدرته مع ارتفاع كلفة تشغيله. الأوزان المفتوحة: نشر ملفات النموذج المدرَّب ليتمكّن أي طرف من تشغيله وتعديله داخل بنيته الخاصة.