اختبار قواعد robots.txt

ما الذي تفعله هذه الأداة

تختبر هل مسار معيّن مسموح أم ممنوع لزاحف محدّد وفق محتوى ‎robots.txt‎ الذي تلصقه، وتبيّن القاعدة التي طابقت.

متى تستخدمها

• صفحة لا تظهر في البحث وتشك أن ملف الزواحف يمنعها.
• تتحقق من ملف قبل رفعه.
• تختبر قاعدة معقّدة فيها أنماط بدل.
• تتأكد أن المنع يشمل ما تقصده ولا يشمل أكثر منه.

طريقة الاستخدام

1. 1الصق «محتوى robots.txt» في الحقل.
2. 2أدخل «وكيل المستخدم للزاحف» المراد اختباره.
3. 3أدخل «المسار المراد اختباره».
4. 4اضغط «اختبار» واقرأ النتيجة و«القاعدة المطابِقة».

مثال عملي

حدود الأداة

• الاختبار على المحتوى الذي تلصقه أنت؛ الأداة لا تجلب ملف موقعك الحقيقي.
• الزواحف تختلف قليلًا في تفسير بعض الأنماط، فقد يختلف سلوك زاحف معيّن في الحالات الحدّية.
• النتيجة تخبرك عن الزحف لا عن الفهرسة؛ وهما أمران مختلفان.

الخصوصية والمعالجة

الاختبار يجري بالكامل على جهازك ومحتوى ملف الزواحف لا يُرسل إلى أي خادم.

ملاحظات تقنية

• عرض القاعدة المطابِقة هو الأهم عمليًا: في ملف فيه قواعد متعارضة تعرف أيّها غلب ولماذا، بدل الاكتفاء بنعم أو لا.