أجرى باحثون من جامعتي ستانفورد وبيركلي الأمريكيتين دراسة جديدة حول نموذج اللغة الكبير "جي بي تي"، الذي يشكل أساس شات جي بي تي لشركة أوبن أي آي . ووجد الباحثون أن النموذج أصبح أقل ذكاءً بشكل كبير خلال الأشهر الأخيرة، وهو ما يتعارض مع تصريحات مسؤولي الشركة.
وبينت الدراسة أن دقة ردود النموذجين GPT-3.5 و GPT-4 تنخفض بشكل ملحوظ خلال الفترة المذكورة، مما يؤكد ملاحظات المستخدمين حول التدهور الواضح في أداء النموذج الأحدث. وأوضح الباحثون أن هذا التدهور ربما يكون ناجمًا عن أخطاء في تنسيق التعليمات البرمجية.
أثار التدهور الواضح في دقة النموذج قلقًا كبيرًا بدرجة أن نائب رئيس المنتجات في OpenAI، بيتر ويلندر، حاول نفي الشائعات التي تقول إن التغيير كان مقصودًا. وفي تغريدة على تويتر، أكد ويلندر أنه لم يتم جعل GPT-4 أقل ذكاءً، بل كل إصدار جديد يجب أن يكون أذكى من السابق.
وأشار إلى أن التغييرات في تجربة المستخدم قد تكون ناتجة عن الاستخدام المستمر. ومع ذلك، فإن دراسة جامعتي ستانفورد وبيركلي قد تكون أكثر إقناعًا في تفنيد هذه الفرضية. وعلى الرغم من عدم إشارة الباحثين إلى أسباب وقوع التدهور، إلا أنهم أكدوا أن هذا التدهور يتحدى إصرار OpenAI على تحسين نماذجها.
وأضافوا أن أداء GPT-3.5 و GPT-4 يختلف بشكل كبير، وأن أداءهما في بعض المهام قد ازداد سوءًا بمرور الوقت. وشدد الباحثون على أهمية معرفة كيفية تحسين النماذج دون التأثير على أداء أخرى.
إرسال تعليق