קובץ Robots.txt
קובץ robots.txt הוא קובץ היושב בתיקייה הראשית של האתר ונועד להנחות את מנועי החיפוש אילו אזורים באתר יש לסרוק ולאנדקס ואילו לא.
השימוש העיקרי בקובץ רובוטס הוא חסימת חלקים באתר שלא רוצים שמנועי החיפוש יגיעו אליהם. אחד השימושים הנפוצים בקובץ robots.txt הוא חסימה של אתר הנמצא בהקמה. כשהאתר מוכן, חשוב לזכור לשחרר את החסימה על מנת שמנועי החיפוש ימשיכו לסרוק אותו
מונחים נוספים