כלי SEO

בודק Robots.txt

הדבק תוכן robots.txt כדי לבדוק הוראות נפוצות ולאתר חסימות סריקה מסוכנות.

קלט טקסט תוצאה

איך להשתמש

1
הדבק את תוכן ה-robots.txt.
2
הפעל את הבודק.
3
סקור הנחיות ואזהרות.

תשובה מהירה

Robots.txt Tester מנתח את קובץ ה-robots.txt שלך כדי להדגיש כללים פעילים, יעדי User-agent, קישורי מפת אתר וחסימות סריקה. זהו הכלי הטוב ביותר לביקורת תצורות סריקה לפני ש-Google, Bing או סוכני AI מאנדקסים את האתר שלך.

תכונות עיקריות

בודק את תקינות ההנחיות (Allow, Disallow, Sitemap, Crawl-delay).
מקבץ כללים לפי בלוקים של User-agent לביקורת ברורה מרובת סורקים.
מדגיש הנחיות ריקות או בעיות עיצוב בזמן אמת.
מזהה כתובות URL מוחלטות של מפות אתר ומוודא עמידה בפריסה התקנית.
מעבד טקסט במלואו בדפדפן, ומונע דליפה של תצורות סריקת האתר.
אינו דורש חיבורים ל-DNS בייצור, לדומיינים או ל-Search Console.

אודות כלי זה

קובץ ה-robots.txt של אתר הוא שומר הסף הראשוני עבור מנועי חיפוש וסקרנים של AI, ומנחה אותם היכן מותר להם לשוטט ואילו ספריות חייבות להישאר פרטיות. לוכסן אחד במקום הלא נכון, כוכבית תו כללי שגויה או נתיב Disallow פגום יכולים לחסום לחלוטין חלקים שלמים מהדומיין שלך מאינדוקס חיפוש - או לחשוף בטעות ספריות פיתוח סודיות למאנדקסים ציבוריים. בודק זה מתרגם הנחיות robots גולמיות לטבלאות ברורות ומובנות, מדגיש לאילו סוכנים יש אישור סריקה ומזהיר אותך מפני חסימות סריקה מסוכנות. מכיוון שהאימות פועל בתוך חלון הדפדפן המקומי שלך, אתה יכול לבדוק ולשנות את הכללים שלך בבטחה במצב לא מקוון לפני פריסתם באוויר.

תרחישים נפוצים

אימות חסימות סביבת פיתוח (staging)

ודא שספריות פיתוח, ניהול ובדיקה חסומות כהלכה כדי למנוע ממאנדקסי חיפוש לאנדקס עותקים כפולים של האתר.

ביקורת כללי סקרני AI

הגדר כללים מותאמים אישית כדי לאפשר לסורקי חיפוש מרכזיים תוך חסימה או הגבלה ספציפית של סקרני תוכן אגרסיביים של מודלי AI.

אימות נתיבי מפת אתר

ודא שקישור מפת האתר שלך מוצהר במלואו ככתובת URL מוחלטת וממוקם כהלכה מחוץ לבלוקים של הנחיות User-agent.

שאלות נפוצות

האם זה מחליף את הבדיקה של Google Search Console?

לא. זוהי בדיקה מקומית מהירה לטעויות נפוצות לפני אימות מעמיק יותר.

האם זה יכול לאחזר קובץ robots.txt חי?

אחזור חי יכול להתווסף מאוחר יותר כתכונה הנעזרת בשרת.

מהו המיקום התקני עבור כלל Sitemap?

הנחיית Sitemap אינה תלויה בבלוקים של User-agent. יש להצהיר עליה ככתובת URL מוחלטת (למשל Sitemap: https://yourdomain.com/sitemap.xml) ובדרך כלל היא ממוקמת בחלק העליון או התחתון ביותר של הקובץ.

האם כללי Crawl-delay נתמכים על ידי Google?

לא. Googlebot מתעלם לחלוטין מהנחיות Crawl-delay. עם זאת, בוטים אחרים של חיפוש (כמו Bingbot) וסקרני אתרים קטנים עדיין תומכים ומכבדים הגדרות Crawl-delay.

האם אני יכול לבדוק תווים כלליים (wildcards)?

כן. תווים כלליים תקניים (כמו * ו-$) נתמכים על ידי מנועי חיפוש מודרניים וניתן לנתח אותם כדי לבדוק התאמות.

האם קובץ הסריקה שלי פרטי?

כן. כל ניתוח ה-robots.txt מתבצע אך ורק בתוך חלון הדפדפן שלך באמצעות JavaScript בצד הלקוח. אף אחת מהספריות או ההנחיות שלך אינה נרשמת.