קובץ ראבוטס (Robots.txt) Robots.txt
קובץ טקסט המנחה רובוטים של מנועי חיפוש אילו דפים מותר או אסור לסרוק.
קובץ Robots.txt הוא קובץ טקסט פשוט הממוקם בשורש הדומיין, ומטרתו להנחות רובוטים של מנועי חיפוש אילו חלקים באתר מותר לסרוק ואילו אסור. זהו אחד הכלים הטכניים הבסיסיים אך המשמעותיים ביותר בניהול נכון של אתר מבחינת SEO, וטעות בכתיבתו עלולה לחסום בטעות דפים חשובים מפני גוגל כולה.
מה זה בדיוק קובץ Robots.txt
הקובץ נמצא תמיד בכתובת domain.com/robots.txt וכתוב לפי תקן פרוטוקול הרובוטים (Robots Exclusion Protocol). הוא מכיל הוראות (Directives) כמו User-agent המציין לאיזה רובוט מיועדת ההוראה, Disallow החוסם גישה לתיקייה או דף מסוים, ו-Allow המאפשר גישה חריגה בתוך תיקייה חסומה. ניתן גם להוסיף בו הפניה לקובץ המפה (Sitemap) של האתר.
איך משתמשים בקובץ Robots.txt נכון
השימוש הנכון הוא לחסום סריקה של אזורים שאינם רלוונטיים לחיפוש, כמו דפי ניהול פנימיים, עגלות קניות, או תוצאות סינון וחיפוש פנימי היוצרות תוכן כפול. חשוב לזכור שהקובץ חוסם זחילה בלבד ואינו מבטיח שדף לא יופיע באינדקס - אם דף חסום מקבל קישורים חיצוניים רבים, הוא עדיין עלול להופיע בתוצאות החיפוש ללא תיאור.
החשיבות והסיכון העסקי
קובץ Robots.txt מוגדר נכון מייעל את תקציב הזחילה ומכוון את הרובוטים לדפים החשובים ביותר לעסק. עם זאת, טעות קטנה בקובץ - כמו שורת Disallow: / בשוגג - עלולה לחסום את האתר כולו מפני גוגל ולגרום לירידה דרסטית ומיידית בתנועה האורגנית, ולעיתים אף להיעלמות מוחלטת מתוצאות החיפוש.
דוגמה וטעויות נפוצות
מקרה נפוץ הוא אתר שעבר לאחרונה תהליך פיתוח מחדש ונשאר עם קובץ Robots.txt שהוגדר בסביבת הפיתוח לחסימת כל הרובוטים - טעות שמשביתה את הנראות של האתר בגוגל עד לגילויה. מומלץ לבדוק את הקובץ דרך כלי בדיקת ה-Robots.txt ב-Google Search Console לאחר כל שינוי מבני באתר, ובוודאי לפני ואחרי השקת קמפיין תוכן חדש.
שאלות נפוצות
האם קובץ Robots.txt חובה לכל אתר?
לא חובה טכנית, אך מומלץ מאוד להחזיק אחד כדי לשלוט על אזורי הסריקה ולהפנות לקובץ המפה של האתר.
האם חסימת דף ב-Robots.txt מונעת ממנו להופיע בגוגל?
לא בהכרח - היא מונעת סריקה, אך אם לדף יש קישורים חיצוניים רבים הוא עדיין עלול להופיע בתוצאות ללא תקציר תוכן.
איפה בודקים ומעדכנים את קובץ ה-Robots.txt?
הקובץ נמצא בשורש הדומיין וניתן לערוך אותו דרך שרת האתר או מערכת הניהול, ולבדוק את תקינותו דרך Google Search Console.