ريديت قامت بتحديث ملف robots.txt، مما جعل محتواها غير متاح لمجموعة من محركات البحث باستثناء Google Search، وذلك ضمن استراتيجية جديدة تهدف إلى تنظيم الوصول إلى محتوى الموقع.
التحديث جاء لحماية محتوى ريديت من الاستخدام غير المرغوب فيه في تدريب نماذج الذكاء الاصطناعي. المتحدث باسم ريديت، تيم راتشميدت، أوضح أن المنصة لم تتمكن من التوصل إلى اتفاقيات مع جميع محركات البحث بشأن استخدام محتوى ريديت في الذكاء الاصطناعي، مما أدى إلى منع محركات مثل Bing وDuckDuckGo وMojeek من الوصول إلى محتوى الموقع، بينما سمح لجوجل فقط بذلك.
في الأول من يوليو، حدثت ريديت ملف robots.txt لمنع العديد من محركات البحث وأدوات الذكاء الاصطناعي من استخدام الروبوتات لتحليل المحتوى. أكدت مايكروسوفت أن محرك بحثها "بينج" توقف عن الوصول إلى ريديت بعد هذا التحديث. وأكد متحدث باسم مايكروسوفت لموقع Search Engine Land أن مايكروسوفت تحترم معيار robots.txt وتلتزم بالتوجيهات المقدمة من المواقع.
راتشميدت أشار إلى أن الأمر لا علاقة له بشراكة ريديت مع جوجل، وأنهم في محادثات مع عدة محركات بحث لكن لم يتوصلوا إلى اتفاقيات مع جميعها. بحسب رويترز، أبرمت ريديت اتفاقية تعاون مع جوجل في فبراير، تتقاضى بموجبها 60 مليون دولار سنوياً مقابل استخدام محتوى المنصة لتدريب نماذج الذكاء الاصطناعي.
الآن، جوجل هو محرك البحث الوحيد الذي يمكنه عرض نتائج من ريديت، مما يجعلها حصرية لأكبر محرك بحث على الإنترنت. محركات مثل DuckDuckGo وBing وMojeek لم تعد تعرض نتائج جديدة من ريديت، لأنها تعتمد على نظام أرشفة صفحات الويب الخاص بمايكروسوفت "بينج".
كولين هايهيرست، الرئيس التنفيذي لمحرك البحث Mojeek، صرح أن ريديت لم ترد على رسائلهم الإلكترونية بخصوص الحظر، مضيفاً أن ريديت أصبحت أكثر تشدداً في ملف robots.txt الخاص بها، حيث يحظر جميع عمليات الوصول الروبوتي بشكل صارم.
من الجدير بالذكر أن العديد من المواقع بدأت بتحديث ملفات robots.txt لمنع الشركات من استخدام بياناتها لتدريب نماذج الذكاء الاصطناعي، مما يشير إلى تزايد القلق بشأن استخدام البيانات العامة في هذا المجال.
ملف robots.txt هو ملف نصي يستخدمه مشرفو المواقع لتوجيه محركات البحث وأدوات الوصول الروبوتية حول كيفية الوصول إلى صفحات موقعهم، ويحتوي على تعليمات تحدد الأجزاء التي يمكن للتقنيات الروبوتية الوصول إليها وتلك التي يجب تجنبها. يساعد هذا في إدارة ظهور الموقع بنتائج البحث وحماية حقوق ملكية محتواه في عصر الذكاء الاصطناعي.
إرسال تعليق