أعلنت Cloudflare عن إطلاق أداة مجانية جديدة تهدف إلى منع روبوتات استخلاص البيانات من الوصول إلى مواقع الويب المستضافة على منصتها، مما يساعد في حماية البيانات المستخدمة في تدريب نماذج الذكاء الاصطناعي.
على الرغم من أن بعض مزودي الذكاء الاصطناعي مثل جوجل وآبل وOpenAI يتيحون لأصحاب المواقع تعديل ملف robots.txt لحظر روبوتاتهم، فإن العديد من الروبوتات لا تلتزم بهذا الملف، مما يثير قلق أصحاب المواقع.
وذكرت Cloudflare في تدوينة أن عملاءها لا يرغبون في زيارة روبوتات الذكاء الاصطناعي التي تتجاهل تعليمات robots.txt وتتحايل للوصول إلى المحتوى. لذا، قامت بتحليل حركة مرور هذه الروبوتات لتحسين نماذج الكشف التلقائي عنها، مع مراعاة محاولات الروبوتات للتخفي عبر محاكاة سلوك المستخدم العادي.
وأوضحت الشركة أن نماذجها قادرة على تحديد حركة المرور المشبوهة من الروبوتات، استنادًا إلى إشارات مختلفة، مما يساعد في حماية المواقع من الروبوتات المخادعة. كما أعدت نموذجًا للمضيفين للإبلاغ عن الروبوتات المشتبه بها، وتستمر في تحديث قائمة الروبوتات المحظورة يدويًا.
تأتي هذه الخطوة في ظل تزايد الطلب على بيانات تدريب نماذج الذكاء الاصطناعي، مما دفع العديد من المواقع إلى حظر روبوتات الذكاء الاصطناعي لحماية محتواها. ومع ذلك، يبدو أن بعض موردي الذكاء الاصطناعي يتجاهلون قواعد استبعاد الروبوتات لتحقيق ميزة تنافسية.
وقد اتهمت شركات مثل Perplexity بانتحال هوية زوار شرعيين لاستخلاص محتوى من المواقع، في حين تشير تقارير إلى تجاهل OpenAI وAnthropic لقواعد ملف robots.txt في بعض الأحيان.
تأمل Cloudflare أن تكون أداتها الجديدة دقيقة في اكتشاف الروبوتات المخادعة، على الرغم من أن المشكلة الأكبر تظل في مخاطرة الناشرين بفقدان حركة الإحالة من أدوات الذكاء الاصطناعي إذا حظروا بعض الروبوتات.
إرسال تعليق