اتهمت كلاود فلير شركة بيربلكسيتي للذكاء الاصطناعي (Perplexity AI) باستخدام برامج زحف خفية وغير مُعلنة لتجاوز قيود مواقع الويب التي تمنع الروبوتات من الوصول إلى محتواها. وتزعم الشركة أن برامج بيربلكسيتي للزحف تتجنب تعليمات عدم الزحف من خلال تغيير عناوين IP وتعديل وكلاء المستخدم. ورغم وجود بروتوكولات ويب مثل ملف robots.txt، التي تُحدد مواقع الويب المسموح للروبوتات بالزحف إليها، أفادت التقارير أن روبوتات بيربلكسيتي استمرت في جمع بيانات مواقع الويب التي تمنع صراحةً مثل هذا النشاط. وقد أدى ذلك إلى قيام كلاود فلير بحظر برامج بيربلكسيتي للزحف من منصتها.
ماذا يقول Cloudflare عن ذلك
تزعم Cloudflare أن روبوتات الذكاء الاصطناعي التابعة لـ Perplexity تنتهك ممارسات تتبع مواقع الويب القياسية بمحاولتها الوصول إلى مواقع ويب طلبت بوضوح عدم تتبعها. كما ذكرت أن استخدام Perplexity لأساليب التخفي، بما في ذلك تغييرات وكلاء المستخدم وتدوير عناوين IP، يُقوّض سلامة أمان بيانات مواقع الويب. ردًا على ذلك، أزالت Cloudflare Perplexity من قائمة الروبوتات المُوثّقة، وعززت إجراءات الحظر لحماية مواقع الويب.
ما هو رد فعل الحيرة؟
نفت شركة بيربلكسيتي هذه الاتهامات، واصفةً ادعاءات كلاود فلير بالمبالغة وعدم الدقة. وجادلت بأن نشاط الزحف المذكور ربما يكون ناتجًا عن خدمات خارجية، وليس عن روبوتاتها مباشرةً. وأشارت بيربلكسيتي أيضًا إلى أن العديد من شركات الذكاء الاصطناعي، بما فيها شركتها، تعتمد على خدمات خارجية لاستخراج بيانات الويب، مما يُعقّد المساءلة. وانتقدت بيربلكسيتي كلاود فلير لتضخيمها للمشكلة، وجادلت بأن ممارساتها لا تختلف عن تلك التي تستخدمها أنظمة الذكاء الاصطناعي الأخرى. وأكد رد بيربلكسيتي أنهم لا يتجاوزون قيود مواقع الويب عمدًا، وأشاروا إلى أن كلاود فلير ربما تبالغ في رد فعلها على الموقف.
ماذا يعني ذلك (بالكلمات البشرية)
إذا كان لديك موقع ويب يستخدم Cloudflare وحظرتَ على الروبوتات الوصول إليه، فقد وجدت Perplexity طريقةً لتجاهل هذه القواعد واختراق موقعك. انتبه Cloudflare لهذه المشكلة وحظر Perplexity تمامًا. لذا، حتى لو كنت تستخدم Cloudflare وسمحتَ للروبوتات بالوصول، فلن تتمكن Perplexity من الوصول إلى موقعك.
ربط النقاط
نُدرك أنه بدون جميع التفاصيل، يصعب فهم ما يحدث. كل ما عليك فعله هو العنوان: "قلنا لا يُسمح للبوتات، وقالت شركة بيربلكسيتي إننا لا نهتم". ولكن هناك جانب آخر للأمر، فبعد أن قال الطرف الآخر نعم، نسمح للبوتات، أصبحت بيربلكسيتي الآن تُحظر دخولها. إذًا، ما الذي يحدث هنا حقًا؟ دعونا نُلقي نظرةً عن كثب.
ما هو Cloudflare وماذا يفعل؟
كلاود فلير هي خدمة تحمي مواقع الويب من التهديدات الأمنية وتُحسّن أدائها. من أهم وظائفها توفير حماية لمواقع الويب من البرامج الآلية غير المرغوب فيها التي تعمل على جمع البيانات أو إرسال البريد العشوائي أو حتى شن هجمات. تساعد كلاود فلير في إدارة الروبوتات المسموح لها بالوصول إلى موقع الويب، باستخدام أدوات مثل ملفات " robots.txt "، التي تُعلم الروبوتات ما إذا كانت مُرحبًا بها أم لا.
لديهم أيضًا نظام تحقق لضمان أن الروبوتات الموثوقة فقط هي التي تفحص المواقع، ويحظرون أي نشاط مشبوه أو ضار. هذا يجعل Cloudflare لاعبًا أساسيًا في الحفاظ على سلامة وأمان الويب .
ما هي القواعد المتفق عليها؟
كما هو الحال في الحياة الواقعية، حيث توجد قواعد يجب اتباعها، ينطبق الأمر نفسه على عالم حركة مرور الويب. تستخدم مواقع الويب أدوات مثل "robots.txt" لوضع تلك القواعد، وإخبار الروبوتات بما يمكنها الوصول إليه وما لا يمكنها الوصول إليه. وكما تحتاج إلى هوية لإثبات هويتك في العالم الواقعي، تحتاج الروبوتات إلى تعريف نفسها باستخدام عنوان IP الخاص بها.
يعرف بيربلكسيتي هذا، وكذلك الجميع. لو لم تلتزم الروبوتات بالقواعد، لانهار عالم حركة مرور الإنترنت. في النهاية، هذا النظام مفيد للجميع لأنه يحافظ على دقة المعلومات وفائدتها. لو كان بإمكان أي شخص فعل ما يشاء، لما كانت هناك قيمة للمعلومات، أو الأسوأ من ذلك، لم تكن هناك أي معلومات على الإطلاق.
ماذا حدث إذًا؟ طلب Perplexity المعلومات، لكنه استمر في تغيير عنوان IP الخاص به، متجاوزًا العملية الاعتيادية التي يفرضها ملف "robots.txt". لم يتم التحقق من هويته كبوت ذكاء اصطناعي، لذا لم يتمكن ملف "robots.txt" من التعرف عليه بدقة أو السماح بالتفاعل الصحيح.
بعبارات صادمة، هذه سرقة. إنها أشبه بخداع برامج روبوت أخرى والحصول على ما تريد بتغيير هويتك باستمرار، باستخدام عناوين IP مختلفة للتسلل.
ماذا يعني حقًا استخدام الطرف الثالث وفقًا لمعايير الصناعة؟
يعني المعيار الصناعي أنه عند استخراج بيانات الويب وجمعها، تعتمد العديد من الشركات على خدمات خارجية لجمع المعلومات من الإنترنت. ويُعتبر هذا غالبًا "المعيار الصناعي" نظرًا لشيوعه في العديد من الشركات، وخاصةً في مجال الذكاء الاصطناعي والتعلم الآلي. تعمل هذه الخدمات الخارجية، أو برامج الروبوت، كوسيط، حيث تصل إلى مواقع الويب نيابةً عن الشركة وتجمع البيانات.
تكمن الفكرة وراء الاستعانة بجهات خارجية في الكفاءة وقابلية التوسع. فبدلاً من بناء وإدارة برامج زحف الويب الخاصة بها، يمكن للشركات الاستعانة بخدمات متخصصة مُجهزة للتعامل مع كميات هائلة من البيانات. وقد تستخدم هذه الخدمات تقنيات متنوعة لجمع المعلومات بسرعة ودون تدخل مباشر من الشركة، بما في ذلك تدوير عناوين IP أو استخدام برامج روبوت متعددة.
رغم شيوع هذه الممارسة وقبولها تقنيًا في كثير من الحالات، إلا أنها تثير تساؤلات مهمة حول الأخلاقيات والموافقة. فمجرد كون شيء ما معيارًا في هذا المجال لا يعني بالضرورة توافقه مع أفضل الممارسات أو احترامه لرغبات مالكي المواقع الإلكترونية. في هذه الحالة، أدى اعتماد Perplexity على برامج روبوت خارجية إلى تساؤلات حول ما إذا كانت هذه البرامج تتجاوز القواعد والبروتوكولات المعمول بها، مثل "robots.txt"، للحصول على البيانات التي تريدها.
خلاصة القول
هل هناك تحقيق؟
نعم، حددت Cloudflare روبوتات Perplexity التي تتجاوز توجيهات عدم الزحف وتعمل على حظرها بشكل نشط.
ماذا سيحدث بعد ذلك؟
قامت Cloudflare بإزالة Perplexity من قائمة الروبوتات التي تم التحقق منها، وتم تطبيق تدابير حظر أكثر صرامة.
ما هو الوضع الآن؟
لم تعد روبوتات Perplexity قادرة على الوصول إلى المواقع الإلكترونية التي تستخدم خدمات Cloudflare، ولا يزال الجدل قائمًا حول ممارسات استخراج البيانات من الويب. وهذا يُبرز التوتر بين جمع البيانات باستخدام الذكاء الاصطناعي واحترام قواعد مالكي المواقع الإلكترونية.
اطرحها
هل ترغب في تهيئة ملف robots.txt الخاص بك؟ إليك موجه يمكنك استخدامه للحصول على التعليمات الصحيحة للبائع الذي اخترته.
مطالبة بتكوين ملف robots.txt
فقط قم بنسخ ولصق هذا:
أستخدم [أدخل اسم البائع هنا] لتكوين ملف robots.txt الخاص بموقعي الإلكتروني. يُرجى البحث على الإنترنت عن إرشادات حول كيفية تكوين هذا الملف بشكل صحيح للسماح ببرامج روبوت محددة أو حظرها. يُرجى تقديم أمثلة وتعليمات خطوة بخطوة من [أدخل اسم البائع هنا] حول كيفية إعداد ملف robots.txt. يُرجى تضمين روابط للوثائق الرسمية للبائع وأي موارد مفيدة لإرشادي في إنشاء الملف. 
منظور فريق الضوء المتجمد
نعتقد أن القواعد هي القواعد ويجب اتباعها. كان بإمكاننا التوقف عند هذا الحد، لكننا أردنا لفت انتباهكم إلى وضع قانوني جديد نشأ عن السلوك المزعوم لشركة بيربليكسيتي. (لا نقول إنهم فعلوا هذا، ولكن دعونا نفكر في العواقب في حال فعلوا ذلك).
لقد قمنا بالتحقيق في الجوانب القانونية، وهذا ما وجدناه:
بناءً على المعلومات المتاحة، يُمكن لشركة Cloudflare مقاضاة Perplexity، لكنّ الوضع القانوني لمثل هذه القضايا لا يزال في طور التطوّر. فيما يلي تفصيل للحجج القانونية المحتملة بناءً على دعاوى قضائية مماثلة:
انتهاك العقد/شروط الخدمة: العديد من المواقع الإلكترونية، بما فيها تلك المحمية بواسطة Cloudflare، لديها شروط خدمة تحظر صراحةً استخراج بيانات الويب. إذا ثبت أن تصرفات Perplexity تنتهك هذه الشروط، فقد يكون ذلك أساسًا لرفع دعوى قضائية.
انتهاك حقوق النشر: يمكن لعملاء Cloudflare، وهم منشئو محتوى وناشرون، مقاضاة Perplexity لاستخدامها محتواهم المحمي بحقوق النشر دون إذن. وهذه هي الحجة نفسها التي تستخدمها وسائل إعلام، مثل صحيفة نيويورك تايمز، في دعواها القضائية ضد OpenAI.
قانون الاحتيال وإساءة استخدام الحاسوب (CFAA): يُجرّم هذا القانون الوصول إلى نظام حاسوبي دون تصريح. ويمكن تفسير اتهام Cloudflare لـ"برامج الزحف الخفية" التابعة لـ Perplexity بانتحال هوية مستخدمين شرعيين وتجاوز إجراءات الأمان على أنه انتهاك لهذا القانون.
وفي حين لم تعلن شركة Cloudflare عن دعوى قضائية ضد Perplexity، فإن بياناتها العامة وإجراءاتها الفنية، مثل إلغاء Perplexity باعتبارها بوتًا تم التحقق منه وحظر برامج الزحف الخاصة بها، سلطت الضوء على القضايا القانونية والأخلاقية التي تكمن في قلب هذا الصراع.
نحن ندخل مرحلة جديدة، تغيرت فيها القواعد، لكن تطبيقها لم يتغير. الأمر أشبه باتفاق بين رجلين، حيث يُطلب من الجميع الالتزام بالقواعد، لكن لا يوجد أي إجراء لتطبيقها.
كمستخدمين، نشعر أنه لا رأي لنا في هذا، وليس لدينا وسيلة لحماية أنفسنا. قد يبدو الأمر صادمًا، لكن هذا هو الواقع.
موقفنا هو مطالبة الجميع باللعب بنزاهة. يُظهر تحقيقنا أن ما يمكن للبوت الوصول إليه عندما لا يلتزم بالقواعد لا يقتصر على المحتوى العام فحسب؛ بل يشمل أيضًا معلومات حساسة. نحن، كمنشئي محتوى، الوحيدون الذين يعرفون حقيقة المحتوى، ونريد من الجميع الالتزام بالقواعد.
علاوة على ذلك، غالبًا ما لا نستطيع معرفة ما إذا كانت القواعد قد خرقت إلا إذا أجرت جهات مثل Cloudflare تحقيقاتها الخاصة. نأمل أن يستيقظ النظام القانوني على العالم الذي نعمل فيه جميعًا ويحمينا.
