بايدو تطلق إرني 5.5 فلاش بيس بنموذج مفتوح بـ280 مليار معامل
أطلقت بايدو نموذج إرني 5.5 فلاش بيس المفتوح بـ280 مليار معامل، ودربته على 33.5 تريليون رمز، وأتاحت أوزانه للتحميل على منصة هاغينغ فيس.
أطلقت شركة بايدو نموذج ERNIE 5.5 Flash Base بوصفه نموذجاً أساسياً مفتوحاً، من دون عمليات ضبط دقيق أو تدريب لاحق، بحسب ما نشره موقع ذا ديكودر.
ويعتمد النموذج على بنية الخبراء المتفرعين (Mixture of Experts) بإجمالي 280 مليار معامل، مع تنشيط 14 مليار معامل فقط لكل مدخل، ما يعني أن جزءاً من المعاملات فقط يعمل مع كل مدخل.
ودربت بايدو النموذج على 33.5 تريليون رمز، وأتاحت أوزانه على منصة هاغينغ فيس بصيغتي FP8 وBF16، على أن تتبعها نسخة تم تدريبها لاحقاً.
وتتيح النماذج المفتوحة للباحثين والشركات بناء تطبيقات خاصة بها دون تدريب من الصفر، وهو ما يجعل النماذج الأساسية الكبيرة جزءاً من المنافسة بين شركات الذكاء الاصطناعي.
ماذا تعني هذه المصطلحات؟
نموذج أساسي: نموذج ذكاء اصطناعي كبير يُدرب على بيانات عامة ثم يُبنى عليه تطبيقات متخصصة.
المعاملات: القيم الرقمية الداخلية التي يتعلمها النموذج أثناء التدريب وتحدد سلوكه.
بنية الخبراء المتفرعين (MoE): تصميم يشغل جزءاً من أجزاء النموذج فقط لكل مدخل بدلاً من تشغيل النموذج كله.
الضبط الدقيق: تدريب إضافي لنموذج جاهز على بيانات متخصصة لتحسين أدائه في مهمة معينة.
الرمز (Token): وحدة صغيرة من النص يعالجها النموذج، وقد تكون كلمة أو جزءاً من كلمة.
أوزان النموذج: الملفات التي تحتوي على القيم المدربة وتسمح بتشغيل النموذج أو إعادة استخدامه.
لنشـرة الأسبوعيـة
اقرأ ما بين السطور قبل الجميع. فك تشفير أهم تحركات الاقتصاد، التقنية، وصُنّاع القرار في المنطقة.. في ٥ دقائق كل سبت.
