קובץ Robots.txt
קובץ robots.txt הוא קובץ היושב בתיקייה הראשית של האתר ונועד להנחות את מנועי החיפוש אילו אזורים באתר יש לסרוק ולאנדקס ואילו לא.
השימוש העיקרי בקובץ רובוטס הוא חסימת חלקים באתר שלא רוצים שמנועי החיפוש יגיעו אליהם. אחד השימושים הנפוצים בקובץ robots.txt הוא חסימה של אתר הנמצא בהקמה. כשהאתר מוכן, חשוב לזכור לשחרר את החסימה על מנת שמנועי החיפוש ימשיכו לסרוק אותו
מונחים נוספים
סיפורי הצלחה
בנק ירושלים
גידול של 18% בתנועה האורגנית לאתר וגידול בעשרות אחוזים בכמות הלידים והפעולות של האתר החדש
בנק ירושלים - סיפור הצלחה >
מגדל
גידול שנתי של 19% בתנועה האורגנית לאתר בשנת 2012 והוזלת עלויות למכירות ולידים בפרסום בגוגל.
מגדל - סיפור הצלחה >
