LMArena

LMArena هي منصة شعبية يقودها المجتمع للتقييم المقارن الجماعي لنماذج اللغة الكبيرة، طورها باحثون من UC Berkeley ضمن LMSYS. تعمل المنصة بأن يسمح للمستخدمين بإرسال prompts، وتلقّي إجابتين مُعمّاتين من النماذج، والتصويت للأفضل، حيث تُنقل الأصوات إلى لوحة ترتيب مباشرة باستخدام نظام تصنيف Elo، مما يولّد ترتيبًا مُحقّقًا بواسطة البشر لأداء النماذج في العالم الحقيقي في مهام النص والبرمجة والصور. توفّر المنصة وصولًا مجانيًا دون الحاجة للتسجيل لاختبار ومقارنة نماذج ذكاء اصطناعي مختلفة، مما يوسع إمكانية تقييم الذكاء الاصطناعي ويقدّم رؤى شفافة حول أداء النماذج.

يعرض نظام المعارك المعمّاة في LMArena للمستخدمين إجابتين مُعمّاتين من نماذج ذكاء اصطناعي على نفس prompt، دون الكشف عن أي نموذج أنتج كل إجابة. يصوّت المستخدمون بعد ذلك للإجابة التي يرونها الأفضل، ما يتيح مقارنات غير متحيّزة تعتمد فقط على جودة الإجابات بدلاً من سمعة العلامة التجارية. تضمن هذه الطريقة أن تعكس التصنيفات الأداء الفعلي بدلًا من الأفكار المسبقة حول النماذج المختلفة. تُغذّي الأصوات من هذه المعارك المعمّاة نظام تصنيف Elo، الذي يحدث لوحات الترتيب المباشرة في الوقت الحقيقي تقريبًا، مما يخلق صورة ديناميكية معتمدة على الجمهور لجودة النماذج بناءً على التفاعل المباشر والتقييم الصادق.

تستخدم LMArena نظام تصنيف Elo الشبيه بتصنيفات الشطرنج لإنشاء لوحات ترتيب مباشرة تحدث في الوقت الحقيقي تقريبًا أثناء تصويت المستخدمين لمقارنات النماذج. يعكس هذا النظام المتطور تفضيلات البشر الجماعية ويقدّم منظورات ديناميكية ومجمّعة عن جودة النماذج. عندما يصوّت المستخدمون لنموذج على حساب آخر في المعارك المعمّاة، يقوم نظام Elo بتعديل تصنيفات كلا النموذجين بناءً على النتيجة المتوقعة مقابل النتيجة الفعلية. يضمن ذلك أن تكون التصنيفات مبنية على الأداء المقارن الفعلي بدلًا من المعايير المعزولة، مما يعطي تمثيلًا أدق للنماذج الأفضل أداءً في السيناريوهات العملية عبر مهام متنوعة.

تعد LMArena مهمة لأنها تساهم في ديمقراطية تقييم الذكاء الاصطناعي عبر توفير طريقة شفافة ومشارَكة من الجمهور لرؤية كيف تتفوق النماذج المختلفة بعيدًا عن الحدود التقليدية للمعايير. تقدّم المنصة ملاحظات من العالم الحقيقي تساعد في تشكيل مستقبل نماذج الذكاء الاصطناعي، بما في ذلك إتاحة الوصول المبكر إلى الإصدارات قبل النشر. لا تقتصر على الدردشة فقط، بل تشمل البرمجة وتوليد الصور ومهام التحرير، موفرةً رؤى شاملة حول قدرات النماذج. تتيح شفافية البيانات والمنهجية العامة للمنصة للباحثين والشركات فهم أداء النماذج في سيناريوهات العالم الحقيقي، مما يساهم في تقدم مجال الذكاء الاصطناعي من خلال جعل نتائج التقييم متاحة وقابلة للتحقق.

تستند تصنيفات LMArena إلى تقييمات بشرية مجمعة من الجمهور عبر معارك معمّاة، مما يقلّل التحيّز ويضمن أن تعكس المقارنات جودة الإجابات الفعلية. ومع ذلك، تتأثر التصنيفات بقاعدة المستخدمين وأنواع prompts المستخدمة، مما يعني أنها تعبّر عن تفضيل جماعي بشري أكثر من كونها حقيقة مطلقة. يوفر نظام تصنيف Elo طريقة متقدمة لتجميع الأصوات، لكن التصنيفات قد تختلف اعتمادًا على المهام المحددة والـprompts الجاري تقييمها. تتيح شفافية المنصة للمستخدمين فهم المنهجية والبيانات وراء التصنيفات، مما يوضّح أن هذه وجهات نظر مجمعة ومحقّقة بواسطة البشر لجودة النماذج وليست قياسات موضوعية نهائية.