أثار منشور حديث على منصة X (تويتر سابقًا) جدلاً واسعًا حول تقييم أداء نماذج الذكاء الاصطناعي، بعد أن أشار إلى تفوق نموذج Gemini من Google على نموذج Claude من Anthropic في لعبة بوكيمون الكلاسيكية.
تفاصيل الجدل
وفقًا للمنشور، تمكن نموذج Gemini من الوصول إلى مدينة Lavender Town في اللعبة، بينما كان نموذج Claude لا يزال عالقًا في منطقة Mount Moon.
إلا أن مستخدمين على Reddit أشاروا إلى أن نموذج Gemini استفاد من خريطة مصغرة مخصصة تساعده في تحديد عناصر اللعبة، مما يمنحه ميزة إضافية ويثير تساؤلات حول عدالة المقارنة.
تأثير التخصيص على نتائج التقييم
هذه الحادثة تسلط الضوء على كيفية تأثير التخصيصات على نتائج تقييم نماذج الذكاء الاصطناعي.
على سبيل المثال، أعلنت شركة Anthropic أن نموذجها Claude 3.7 Sonnet حقق دقة بنسبة 62.3% في اختبار SWE-bench Verified، ولكن عند استخدام إعداد مخصص، ارتفعت الدقة إلى 70.3%.
وبالمثل، قامت شركة Meta بتعديل نموذج Llama 4 Maverick ليؤدي بشكل أفضل في اختبار LM Arena، بينما سجل الإصدار الأساسي من النموذج نتائج أقل في نفس التقييم.
أهمية المعايير الموحدة
تُظهر هذه الأمثلة أن استخدام إعدادات مخصصة يمكن أن يؤثر بشكل كبير على نتائج تقييم نماذج الذكاء الاصطناعي، مما يجعل من الصعب إجراء مقارنات عادلة بين النماذج المختلفة.
لذلك، من الضروري تطوير معايير تقييم موحدة وشفافة لضمان مصداقية وموثوقية نتائج هذه النماذج.
اترك تعليقاً