التحقق من كتل التدريج
تأكد من حظر أدلة التدريج والمسؤول والاختبار بشكل صحيح لمنع مفهرسي البحث من فهرسة نسخ الموقع المكررة.
أدوات SEO
مختبر Robots.txt
الصق محتوى Robots.txt لفحص التوجيهات الشائعة واكتشاف كتل الزحف المحفوفة بالمخاطر.
كيفية الاستخدام
- 1
الصق محتوى robots.txt.
- 2
قم بتشغيل أداة الاختبار.
- 3
راجع التوجيهات والتحذيرات.
إجابة سريعة
تقوم أداة اختبار Robots.txt بتحليل ملف robots.txt الخاص بك لتسليط الضوء على القواعد النشطة وأهداف وكيل المستخدم وروابط خريطة الموقع وكتل الزحف. إنها الأفضل لتدقيق تكوينات الزحف قبل أن تقوم Google أو Bing أو وكلاء الذكاء الاصطناعي بفهرسة موقعك.
الميزات الرئيسية
- يتحقق من صلاحية التوجيه (Allow، Disallow، Sitemap، Crawl-delay).
- يجمع القواعد حسب كتل وكيل المستخدم لتدقيق واضح ومتعدد الزواحف.
- يسلط الضوء على التوجيهات الفارغة أو مشكلات التنسيق في الوقت الفعلي.
- يحدد عناوين URL المطلقة لخريطة الموقع ويتحقق من الامتثال للتخطيط القياسي.
- يعالج النص بالكامل داخل المتصفح، مما يمنع تسرب تكوينات زحف الموقع.
- يتطلب صفر اتصالات بـ DNS الإنتاج أو النطاقات أو Search Console.
حول هذه الأداة
يعد ملف robots.txt الخاص بالموقع هو حارس البوابة الأولي لمحركات البحث وكاشطات الذكاء الاصطناعي، حيث يوجههم إلى الأماكن التي يُسمح لهم بالتجول فيها والأدلة التي يجب أن تظل خاصة. يمكن لشرطة مائلة واحدة في غير محلها، أو نجمة بدل غير صحيحة، أو مسار Disallow مشوه أن يحظر تمامًا أقسامًا كاملة من نطاقك من فهرسة البحث - أو يكشف عن طريق الخطأ أدلة التدريج السرية للمفهرسين العامين. تترجم أداة الاختبار هذه توجيهات الروبوتات الخام إلى جداول واضحة ومنظمة، وتسلط الضوء على الوكلاء الذين لديهم تصريح زحف وتحذرك من كتل الزحف الخطيرة. نظرًا لأن التحقق من الصحة يعمل داخل نافذة المتصفح المحلي الخاص بك، يمكنك اختبار قواعدك وتعديلها بأمان دون اتصال بالإنترنت قبل نشرها مباشرة.
سيناريوهات شائعة
تدقيق قواعد كاشط الذكاء الاصطناعي
قم بتكوين قواعد مخصصة للسماح لزواحف البحث السائدة مع حظر أو تقييد كاشطات محتوى نموذج الذكاء الاصطناعي العدوانية على وجه التحديد.
التحقق من صحة مسارات خريطة الموقع
تحقق من الإعلان عن رابط خريطة الموقع الخاص بك بالكامل كعنوان URL مطلق ووضعه بشكل صحيح خارج كتل توجيه وكيل المستخدم.
الأسئلة الشائعة
هل يحل هذا محل اختبار Google Search Console؟
لا. إنه فحص محلي سريع للأخطاء الشائعة قبل التحقق الأعمق.
هل يمكنه جلب ملف robots.txt مباشر؟
يمكن إضافة الجلب المباشر لاحقًا كميزة مدعومة بالخادم.
ما هو الموضع القياسي لقاعدة خريطة الموقع؟
توجيه Sitemap مستقل عن كتل وكيل المستخدم. يجب الإعلان عنه كعنوان URL مطلق (على سبيل المثال Sitemap: https://yourdomain.com/sitemap.xml) وعادة ما يقع في أعلى أو أسفل الملف.
هل تدعم Google قواعد تأخير الزحف؟
لا. يتجاهل Googlebot توجيهات Crawl-delay تمامًا. ومع ذلك، لا تزال روبوتات البحث الأخرى (مثل Bingbot) وكاشطات المواقع الثانوية تدعم وتحترم إعدادات Crawl-delay.
هل يمكنني اختبار أحرف البدل؟
نعم. تدعم محركات البحث الحديثة أحرف البدل القياسية (مثل * و $) ويمكن تحليلها لتدقيق التطابقات.
هل ملف الزحف الخاص بي خاص؟
نعم. تتم معالجة جميع تحليلات robots.txt بدقة داخل نافذة المتصفح الخاص بك باستخدام JavaScript من جانب العميل. لا يتم تسجيل أي من أدلتك أو توجيهاتك.