האבולוציה של ה-SEO

כאשר האינטרנט הפך לשימוש ציבורי בשנת 1991, הדברים היו קלים, אך בוודאי שהילכו קסם והלהיבו רבים לקראת העתיד. ככל שהרשת גדלה וצמחה, התעורר הצורך במנועי חיפוש שיאפשרו את אינדקוס הדפים והתוכן הרב שהצטבר, כך שהגולשים יוכלו למצוא מידע במהירות ויעילות.

בקצרה: ההיסטוריה של מנועי החיפוש
מנוע החיפוש הראשון נקרא ארצ'י ((Archie – קיצור למילה "ארכיון" (Archived). המנוע נוצר בשנת 1990 כפרויקט בית ספר, ונועד לעזור למצוא קבצי FTP (File Transfer Protocol). לאחר מכן, בשנת 1991, מארק מקהאהיל וצוותו באוניברסיטת מינסוטה, יצרו את פרוטוקול גופר (Gopher Protocol) כחלופה מוקדמת לרשת האינטרנט העולמית. הם פיתחו את Gopherspace עם מנוע חיפוש בשם ורוניקה שנסגר בשנת 2000 (כך על פי מאמר על ההיסטוריה של גופר שכתב טים גיהרינג), אבל עדיין ניתן לגשת אליו באמצעות Floodgap Public Gopher Proxy. כך או כך, כדאי לדעת שמנוע החיפוש הציבורי שנקרא כיום גופר, ושמזהה את עצמו כ"מנוע החיפוש שמגן על הפרטיות שלך", הוא כבר לא מה שהיה בעבר.

בשנת 1993 רשת האינטרנט העולמית נודדת אחרי בוט – סורק אינטרנט שמטרתו למדוד את גודל הרשת. מכאן, נוצר אינדקס וונדקס (Wandex index) שפותח במכון הטכנולוגי של מסצ'וסטס על ידי מתיו גריי, שמועסק כיום כמהנדס תוכנה בגוגל.

עד יאהו, שעלתה בשנת 1994, פעלו ברשת מנועי חיפוש פרימיטיביים, כמו AlIWEB של Martijn Koster, שהזכיר את מנוע ארצ'י, JumpStationו-Excite – שייצגו התפתחות עקבית ורציפה באבולוציה של מנועי החיפוש באותם ימים. לאחר מכן, נולדו ספריות האינטרנט: הראשונה היתה VLib, ספרייה וירטואלית של טים ברנרס לי, ולאחר מכן הופיעה EINet Galaxy.

יאהו, שהיתה במקור ספריית אינטרנט, נוסדה באפריל 1994 על ידי דוד פילו וג'רי יאנג. בתחילה, היא כללה רק את דפי האינטרנט המועדפים שלהם עם תיאורי טקסט קצרים של כתובות האתרים שדורגו. ככל שהמדריך גדל, אפשרות ה"חיפוש" הפכה להיות הכרחית והספרייה כבר לא היתה יישות עצמאית, אלא יחידה עסקית של יאהו. בשנת 2014 הכריזה יאהו על מותה הוירטואלי של ספריית החיפוש שחדלה לפעול ברשת האינטרנט.

אחרי ספריית יאהו, היה WebCrawler הראשון לאנדקס דפים שלמים והוא עדיין בשימוש גם כיום. גם Lycosc, שנוצר בשנת 1994 עדיין נמצא בסביבה. Infoseek של סטיב קירש היה פופולרי מספיק בזמנו כדי שחברת וולט דיסני העולמית תרכוש אותו בשנת 1998.
בהקשר זה, משמעותי לציין כאן גם את פרויקט המדריך הפתוח Open Directory Project (ODP), שנוצר על ידי צוות בהנהגתו של ריץ' סקרנטה בשנת 1998, ויהפוך בתחילת שנות ה-2000 לגביע הקדוש עבור מנועי חיפוש רבים. אולי אתם גם זוכרים את DMOZ כ- ODP שנסגר ב-2017 כי AOL, שהיתה בעליו, כבר לא רצתה לתמוך יותר בפרויקט. עותק של DMOZ כפי שהיה כאשר נסגר עדיין זמין ב-dmoztools.net.

DMOZ הוא חיוני, כי גוגל עצמה החליטה להעתיק את הפרויקט, כולל אלגוריתם דירוג הדף שלה לדירוג רשימות. גוגל Directory היה זמין עד 2011, כאשר החברה קבעה שחיפוש הוא דרך טובה יותר למשתמשים כדי לחפש ולמצוא מידע.

בשנת 1995, AltaVista היה מנוע החיפוש הראשון להציע רוחב פס ללא הגבלה כדי לאפשר שאילתות בשפה טבעית וחופשית. היו להם גם תכונות מתקדמות אחרות, כמו לאפשר למשתמשים להוסיף ולמחוק כתובות של אתרים. בשנת 2003 נרכשה AltaVista על ידי יאהו, ונסגרה סופית בשנת 2013.

לקראת 1996, מנוע חיפוש שהשתמש בקישורים נכנסים כדי למצוא מידע – מצא את דרכו ברשת. הוא לקח בחשבון את מספר הקישורים שהצביעו על אתר מסוים כסמן של "סמכות ואמינות", ודירג אתרים המבוססים על סימון ציטוטים. נשמע לכם מוכר? מסתבר שלמנוע הזה קראו BackRub והוא הופעל ע"י שני סטודנטים מבריקים מאוניברסיטת סטנפורד שעבדו על הפרויקט: לארי פייג' וסרגיי ברין. כן, כן, BackRub היה הגרסה הקודמת של גוגל ומייסדיו עושים עד היום חייל עם מנוע החיפוש הגדול ביותר בעולם (גוגל, כמובן).

במהלך שנת 1996, Inktomi היתה חלוצה במודל חיפוש בתשלום, ובשנת 1997, Ask Jeeves השיקה מנוע חיפוש בשפה טבעית. מנוע החיפוש MSN של מיקרוסופט הושק בשנת 1998 באמצעות תוצאות החיפוש שנלקחו מ-Inktomi. מאוחר יותר נלקחו רישומים מ-Looksmart ובשנת 1999 מ-AltaVista. בסופו של דבר הם החליפו את מנועי החיפוש שלהם עם פיתוח משלהם, אשר עודכן באופן עקבי ומשופר וגם עבר מיתוג מחדש תחת השם Windows Live Search בשנת 2006, אח"כ בשם Live Search בשנת 2007, ובסופו של דבר נקבע שמו – BING – בשנת 2009.

1998 היא גם השנה שבה גוגל נכנסה לשוק באופן רשמי. בסוף 1999, ברין ופייג' ניסו למכור את מנוע החיפוש שלהם ל-Excite תמורת מיליון דולר, אך מנכ"ל Excite, ג'ורג' בל, דחה את הצעתם. זו היתה החלטה מוצלחת, כי Excite פשטה את הרגל בשנת 2001, ו-Infospace קנתה אותה ב-10 מיליון דולר.

משנת 2001, גוגל כבר היתה כח משמעותי שיש לקחת בחשבון. היבט מעניין נוסף בהתפתחות המוקדמת של גוגל הוא שכבר בשנת 2000 היא החלה למכור מודעות מבוססות טקסט על סמך חיפושים של מילות מפתח, וזאת בניגוד להצהרה קודמת של ברין ופייג', כי יפעילן את גוגל ללא מודעות. בעקבות ההנפקה הציבורית, המשיכה גוגל לשפר ולשחרר עדכונים וגרסאות בקצב מהיר, ששינו ועיצבו את הדרך בה אנו עושים SEO היום.

כמובן, גוגל לא היתה מנוע החיפוש האחרון שהשתלט על רשת האינטרנט. אחריה קמו עוד כמה אחרים – חלקם עדיין בסביבה, אך רבים מהם נפלו כש-Cuil, Powerset ו- Hakiaהם הראשונים שבהם. למעשה, Powerset נרכשה על ידי מיקרוסופט בשנת 2008 תמורת כ-100 מיליון דולר במטרה להשתלב עם בינג. Hakia נסגרה בשנת 2014, אבל הטכנולוגיה שלה עדיין משרתת אתרים אחרים.

DuckDuckGo הושק בשנת 2008 והוא כיום אחד ממנועי החיפוש האמינים ביותר, שלא עוקב ומאחסן כל מידע אישי של המשתמשים שלו. Gigablast, אשר הושק בשנת 2000 שורד גם הוא את התחרות מול גוגל, ומספק תמיכה בחיפושים מיוחדים וספציפיים תוך הפעלת מנגנוני אלגברה בוליאנית. מאז 2009, Wolfram Alpha הוא מנוע ידע אמין מאוד, כאשר מנועי חיפוש בינלאומיים כמו Yandex (רוסיה) ו-Baidu (סין) הם שחקנים חזקים למדי בשוק החיפוש ברשת.

יש עוד הרבה מה להוסיף, אבל נתונים אלו מספיקים דיים כדי לתת את הרקע לאבולוציה של ה-SEO. בעוד למנועי החיפוש הראשונים היו יכולות מוגבלות, כיום הם פרוטוקולים מורכבים המבוססים על אלגוריתם, משתמשים בלמידה מכונה מתוחכמת (machine learning) ויכולים לפענח את הדיבור האנושי הטבעי ולגלות כמעט את כל מה שיש לאינטרנט להציע.

מכיוון שבמרץ 2016 אינדקס האינטרנט מנה לפחות 4.62 מיליארד דפים, זה די ברור מדוע אופטימיזציה של אתרי אינטרנט – על פי קריטריונים של SEO שהוגדרו על ידי גוגל – תוביל בהכרח למצוא מהר יותר את מה שמחפשים. גוגל מציעה מדריך למתחילים המעוניינים לבצע באתר שלהם אופטימיזציה למנועי חיפוש (SEO) אותו ניתן למצוא כאן – Search Engine Optimization (SEO) Starter Guide. מן הסתם מילוי אחר כללי המדריך יאפשרו לכם להתמקם טוב יותר בתוצאות של מנוע החיפוש המפורסם והגדול ביותר בעולם.

מנועי החיפוש הפופולריים ביותר בעולם

מנועי החיפוש הפופולריים ביותר בעולם, מתוך: https://searchengineland.com

 

במבט לאחור: תחילתו של ה-SEO
למעשה, SEO התחיל די במקביל להופעתם של מנועי החיפוש הראשונים שהתירו למשתמשים להגיש אתרי אינטרנט לאינדקוס. AltaVista היתה חלוצה בתחום זה, בעוד BackRub החליטה לספור קישורים; ואחרי שגוגל השיקה את סרגל הכלים שלה PageRank בשנת 2000, הפכו הקישורים המסחריים לאחת מאסטרטגיות ה-SEO המובילות שניתן להסתמך עליהן. זה היה גם את השלב הפרימיטיבי של ה-SEO כאשר חיפוש של מילת מפתח היה תהליך מעצבן למדי שגרם לדפים להיראות כאילו נכתבו על ידי ילדים בגיל הגן עם שיבושי לשון בלתי מובנים.

דירוג הדף לא היה הדבר היחיד שהושק על ידי גוגל בשנת 2000. זו השנה שבה החלה החברה למכור מודעות מבוססות טקסט כדי לייצר רווחים ממנוע החיפוש. בתחילה העניין לא היווה בעיה, אולם השקתו של מיזם AdSense ב-2003 גרמה ליצירתם של אתרים רבים שכוונו אך ורק למודעות והטרידו את הרשת כמו שפעת קשה. במשך שנים, אתרים אלו, שכונו MFA, פגעו באיכות של תוצאות מנוע החיפוש ועוררו סוגיות בנושאי זכויות יוצרים של אתרים שתוכנם נגנב.

אבל בואו נסתכל אחורה על אסטרטגיית הקישוריות שעבדה כל כך טוב בתחילתו של ה-SEO. אז, תוכנה כמו iSusinessPromoter של אכסנדרה, היוותה כלי מועדף כדי לסייע למנהלי אתרים ואנשי SEO להגיש אתרים עם מאות ספריות בכמויות גדולות. דירוג דף דרש קישורים והפניות לספריות – במיוחד ספריות של יאהו, DMOZ וגוגל.

לכן, הגשת אתרים לספריות אינטרנט עבדה פלאים לצורך דירוג מהיר. אתר כמו Entireweb, אשר בחיתוליו היה מדריך אינטרנטי מדי, הציע הגשות חינם לכל מנועי החיפוש הגדולים ועוד מאות אחרים שלא רלוונטי להזכירם. זו היתה דרך מהירה להביא אתר להופיע בתוצאות החיפוש, ולכן מול לקוחות פוטנציאליים וגולשים, זה עבד מצוין, בעיקר עד שגוגל החלה את עדכוני אלגוריתם החיפוש האינטנסיביים שלה. חברת Moz הזהירה שגוגל משנה את האלגוריתם שלה כ-500-600 פעמים בשנה, אך מכריזה רק על העדכונים העיקריים שביצעה. "Boston" היה העדכון הראשון עליו הודיעה גוגל בתחילת 2003, שמטרתו היתה להילחם בתופעות כמו קישורים, מילות מפתח או טקסטים מוסתרים בצבע שחור. אבל רק עדכון "פלורידה" שבוצע בנובמבר אותה שנה, השפיע באופן משמעותי על הקישורים המושחרים, ששימשו עד אז כטכניקת SEO נפוצה, וכעת הפך העדכון את מילות המפתח הספאמיות הללו לחסרות תועלת עבור הדירוג במנוע החיפוש.

עדכון "קסנדרה" העניש גם אתרים העוסקים בחילופי קישורים מאסיביים, ועדכון מאוחר יותר בשם "דומיניק" התמקד יותר בחוות קישורים. עדכון "ברנדי" בפברואר 2004, הציג אינדקס סמנטי סמוי (latent semantic indexing -LSI) ועולם ה-SEO היה צריך ללמוד כיצד לייעל אתרים לפי הכוונת נושאים ספציפית, ולא לפי צפיפות מילות מפתח. במילים אחרות, עדכון האלגוריתם של גוגל הכניס את עולם הסמנטיקה פנימה, תוך שימוש בנוסחה המספקת הקשר בין מילים שונות והדגשת הקרבה הסמנטית שלהן.

ב-2005 הציגו יאהו, גוגל ומנוע החיפוש של MSN את מנגנון "nofollow" עבור קישורים נכנסים, כדי להילחם בספאם. אנשי SEO נאלצו לעמוד באתגר ולהתאים את עבודתם לכללים החדשים. גוגל שוב התמקדה בקישורים לא טבעיים עם עדכון "Jagger" באוקטובר 2005, ואחריו ערכה עוד עדכונים קטנים נוספים, עד שבשנת 2011 הגיע אחד העדכונים המשמעותיים ביותר שבוצעו אי פעם במנוע החיפוש – פנדה.

תחילה השפיעה "פנדה" על תוצאות החיפוש בשפה האנגלית בארה"ב, וכוונה בעיקר לאתרים באיכות נמוכה. זה השפיע על חוות התוכן והקישורים, אבל גם על אתרים עם הרבה תוכן כפול, דפים עם מודעות רבות מדי, ואתרים שלא הביאו ערך ממשי למשתמשים. עדכון של פנדה בשנת 2014, סייע לאתרים בעלי תוכן אמיתי רב לשפר את הדירוג שלהם באופן משמעותי, בעוד אתרים עם יותר מדי שיתופי קישורים ותוכן שנוצר באופן אוטומטי נענשו בתוצאות החיפוש. הם גם השיקו אלגוריתם פריסת עמוד שמפריד אתרים עם תוכן מועט כך שלא יעלו גבוה בתוצאות החיפוש.

קישורים חזרו שוב למוקד בשנת 2012 עם פרסום העדכון של "פינגווין", שממוקד באתרים העוסקים בקנייה ובמכירה של קישורים, וכן באסטרטגיות קישורים אחרות שגוגל מציעה להמנע מהם. הפינגווין מתרחש בזמן אמת והוא חלק מהאלגוריתם הבסיסי המשמש את גוגל לאינדקוס אתרים.

חדשות טובות לבעלי אתרים הגיעו באוגוסט 2012 עם עדכון "DMCA" שהעניש אתרים שהפרו זכויות יוצרים. יונק הדבש (Hummingbird) בשנת 2013 היה העדכון ששיכנע בסופו של דבר את קהילת ה-SEO להתמקד בשפה טבעית יותר ובהקשר סמנטי מדוייק יותר. עם יונק הדבש, גוגל סוף סוף היתה מסוגלת לזהות את הכוונה מאחורי שאילתה. לאחר מכן, "פיג'ון" (Pigeon) בשנת 2014 התמקד באספקת תוצאות חיפוש מקומיות טובות יותר. זמן קצר לאחר מכן, אתרי HTTPS מאובטחים החלו להימצא בכל רחבי הרשת, וגוגל החלה לכלול אותם בפרמטרים שלה בקביעת הדירוג.

2015 היא שנת המובייל: גירסאות אלגוריתם, הן של גוגל והן של בינג, נועדו לסייע לדפים הידידותיים לגלישה מהמובייל ליהנות מתוצאות חיפוש לנייד. ב-2016 ו-2017 בוצעו עדכונים אחרים שמנבאים כיצד ה-SEO ייראה וייעשה בעתיד.

 

העתיד של SEO – סיפור בתהליך
בנובמבר 2017 הגדילה גוגל את כמות התווים עבור תיאורי המטה מ-160 ל-300. זוהי מגמת ה-SEO החדשה של שנת 2018, המצביעה על כך שאם גוגל רוצה תוכן נוסף בתיאורים, הרי שללא ספק היא תעריך יותר אתרים שיספקו תוכן ארוך ועמוק יותר גם בדפים עצמם. עם זאת, זכרו את העדכונים שנדונו בעבר, בהם גוגל מעריכה תוכן שנוצר עבור המשתמשים ושמה דגש גם על הפונקציונליות של ממשק חווית המשתמש (UI).

העדיפות הראשונה למובייל היא ברורה מאליה, ולא נחשבת למגמה, אלא כעובדה קיימת המאלצת את כל האתרים המעוניינים להופיע בתוצאות החיפוש – להיות מותאמים לגלישה מהמובייל כבר בעתיד הקרוב.

עם טרנד החיפוש הקולי ב-2018, ישנן אסטרטגיות SEO חדשות שצריך להתמקד בהן – ואנו נדון בהם באופן מעמיק במאמר הבא. אבל, לעתיד כדאי גם לשקול אופטימיזציה של כוונת הלקוח, ו-Think with Google הוא משאב נהדר כדי לעזור לכם בכך.

בנוסף, הגיע הזמן לשקול את הבינה המלאכותית (AL). פייסבוק כבר בודקת את הנושא באופן פעיל ומשתמשת בו בדרכים משמעותיות. ומכיוון ש-AI הוא "לא קסם, ופשוט קוד", זה אך הגיוני שמומחי SEO יתחילו לתהות כיצד לייעל את העניין בעתיד, בוודאי מפני שאין כל ספק כי AI וטכנולוגיות של למידת מכונה – ישפיעו משמעותית על העתיד של ה-SEO.
בהקשר זה, לגוגל כבר יש RankBrain (מעין "דירוג מוחי") – טכנולוגיית בינה מלאכותית שמנסה להבין ולפענח את ההקשר של כל סוגי התוכן באתרי האינטרנט.
בשל כל אלו, נראה כי AI תשפיע משמעותית על כל סוגיית ה-SEO בעתיד הקרוב. האם אתם ערוכים לכך גם?

ממה מושפע ה-SEO?

 

אין תגובות למאמר

עדיין לא נכתבו תגובות.

כתוב תגובה

שדות חובה מסומנים בכוכבית (*)