robots.txt

robots.txt הוא קובץ שמודיע לסורקי מנועי חיפוש אילו דפים או חלקים באתר שלכם לא צריכים להיסרק. הוא ממוקם בספריית השורש של האתר שלכם.

לא, robots.txt רק מונע סריקה, לא אינדוקס. דפים עדיין יכולים להופיע בתוצאות חיפוש אם מקושרים מאתרים אחרים. השתמשו בתג מטא noindex כדי למנוע אינדוקס.

Disallow ב-robots.txt מונע סריקה אך דפים עדיין עשויים להיות מאונדקסים. תג מטא Noindex מונע אינדוקס אך מאפשר סריקה. השתמשו בשניהם לחסימה מלאה.