منشئ ملف robots.txt
منشئ ملف robots.txt يتيح لك بناء الملف بصريًا بتحديد قواعد Allow وDisallow لكل زاحف (User-agent) وإضافة رابط خريطة الموقع، ثم نسخ أو تنزيل الملف الناتج جاهزًا للرفع على موقعك.
أدوات SEO والتسويق يعمل محليًا بالكامل
يتم إنشاء الملف بالكامل داخل جهازك ولا يُرسل لأي خادم.
robots.txt الناتج
User-agent: * Allow: / Disallow: /admin Disallow: /api/
ما الذي تفعله هذه الأداة
تبني ملف robots.txt من مسارات تسمح بها وأخرى تمنعها ورابط خريطة موقع اختياري، جاهزًا للتنزيل.
متى تستخدمها
- تطلق موقعًا وتحتاج ملف توجيه للزواحف.
- تمنع زحف مسارات إدارية أو داخلية.
- تضيف رابط خريطة موقعك ليجدها الزواحف.
- تصحّح ملفًا قائمًا بإعادة بنائه بشكل صحيح.
طريقة الاستخدام
- أدخل مسارات «السماح» بمسار في كل سطر.
- أدخل مسارات «المنع» بمسار في كل سطر.
- أدخل «رابط خريطة الموقع» إن وُجد.
- انسخ «ملف robots.txt المولَّد» أو اضغط «تنزيل».
مثال عملي
المُدخَل
منع مسار /admin/ مع رابط خريطة الموقع.
الناتج
ملف فيه توجيه المنع لذلك المسار وسطر خريطة الموقع، جاهز لوضعه في جذر الموقع.
حدود الأداة
- منع الزحف ليس منعًا للفهرسة: صفحة ممنوعة في robots.txt قد تظهر في النتائج إن أشارت إليها روابط خارجية. لمنع الفهرسة استخدم وسم noindex — وهما يتعارضان، لأن الزاحف الممنوع لن يقرأ الوسم أصلًا.
- الملف ليس إجراء أمني: محتواه علني، وذكر مسار حساس فيه يدلّ عليه بدل إخفائه.
- الزواحف الملتزمة تحترمه، وغير الملتزمة تتجاهله تمامًا.
- الملف يجب أن يُوضع في جذر النطاق بالضبط ليُقرأ.
الخصوصية والمعالجة
الملف يُولَّد بالكامل على جهازك ولا يُرسل شيء إلى خادم.
ملاحظات تقنية
- الأداة تولّد الملف ولا ترفعه ولا تتحقق من موقعه على خادمك.
الأسئلة الشائعة
غالبًا ستفترض محركات البحث أن كل الصفحات مسموح بزحفها، لكن وجود ملف صريح يمنحك تحكمًا واضحًا في ما يُسمح أو يُمنع من الزحف، ويحدد رابط خريطة الموقع.