החלטות מבוססות נתונים
על מנת להחליט על תמהיל, היררכיה ומיקומי הרכיבים הקיימים באתר אינטרנט, מומלץ להתבסס על מידע קיים. הנחה זו מקבלת משנה תוקף, כאשר מדובר ברכיבים המשפיעים על תהליך ההזמנה באתר.
כיצד נקבע מהו המיקום המיטבי עבור מנוע ההזמנות שלנו? מהי פלטת צבעים הנכונה? איזו גרסה של טקסט תגדיל שיעור המרה?
לו רק היה בידינו המידע הזה לפני שאנו מקבלים החלטות לגבי האתר שלנו, החיים היו פשוטים ויעילים הרבה יותר!
איסוף נתונים מאפשר לנו לגבש החלטות משמעותיות בנוגע לאתר שלנו. ניתן לכנות שיטה זו בשם 'החלטות מבוססות נתונים' (Data Driven Decisions).
קיימות גישות רבות באשר לניתוח מידע ונתונים, אך ניכר כי A/B Testing היא הנפוצה שבהן בתעשיית השיווק הדיגיטלי. פשטות היישום והתוצאות הנחרצות הן ככל הנראה הסיבות לכך.
מהו A/B Testing?
A/B Testing הינו תהליך, במסגרתו משווים בין שני עיצובים הזהים בכל, למעט פרט אחד ויחיד – הוא הרכיב אותו מבקשים לבחון. זהו תהליך סטטיסטי ובתור שכזה, דורש הנחת עבודה ברורה, פרמטרים מוגדרים כהלכה ומדגם גדול דיו על מנת לאפשר החלטות בעלות תוקף סטטיסטי.
נשמע מסובך? אל דאגה! A/B Testing נפוץ ביותר בזירה הדיגיטלית וישנם כלים חינמיים, המסייעים לטפל בסטטיסטיקות ובניתוחן, כדוגמת גוגל אנליטיקס (ראו: Google analytics experiments overview).
החומרים הדרושים על מנת להתקדם הם:
- 2 גרסאות עיצוב דומות ביותר, הנבדלות ברכיב אחד בלבד – זה שעומד למבחן.
- היכולת להגיש את שתי הגרסאות באופן אקראי למשתמשים.
- יעדים מוגדרים היטב, המאפשרים למדוד את הביצועים של כל ורסיה. כך למשל נמדוד הקלקה על כפתור בדף נתון באמצעות אירוע (Event), מילוי טופס פרטים ינוטר באמצעות המרות (Goal Completion).
היעד יכול אף להיות שיעור נטישה, במידה והמטרה היא להקטין אותו. היעדים יכולים למעשה להיות מגוונים, כל עוד יש להם משמעות ומדידתם יכולה לשפוך אור על ביצועיהם של עיצובים שונים באופן השוואתי.
להלן מקרה בוחן מבוסס A/B Testing הממחיש את החשיבות של קבלת החלטות מבוססת נתונים.
מיקום מנוע החיפוש של רשת מלונות ארנה טוריסט - A/B Testing
רקע – ארנה טוריסט הינה רשת מלונות מובילה בקרואטיה ולה 19 מלונות ורזורטים. בשלהי 2013 החליטה הרשת להעלות גרסאות חדשות לשלושת אתרי האינטרנט שלה:
Arenaturist.com, Arenacamps.com, Arenaturist.hr.
מנהלי הרשת ניצבו בפני דילמה: כיצד למקם את מנוע ההזמנות? האם בצורה אופקית מתחת לתמונה על מנת לאפשר וויזואלים גדולים מבלי לפגוע בגודל התמונות? האם בצורה אנכית מלמעלה למטה על חשבון גדול התמונה? מבחן התוצאה יקבע? איזו גרסה תייצר יותר מכירות און ליין? הגרסה עם מנוע ההזמנות במאונך או הגרסה עם המנוע במאוזן?
הוצעו שני עיצובים, הנבדלים ברכיב אחד:
גרסה מס. 1 - מנוע הזמנות אופקי (לרוחב המסך)
גירסה מס. 2 - מנוע הזמנות אנכי (לגובה המסך)
מהלך הניסוי:
על מנת למקסם כמות עסקאות אונליין, חשוב היה לבחור בגרסה שתניב את שיעור ההמרה הגבוה ביותר.
לפיכך, נערך ניסוי בכל שלושת האתרים. הניסוי בוצע באמצעות כלי ה A/B Testing.
גירסה מס. 1 עם מנוע הזמנות אופקי של האתר - לחץ כאן למעבר לגירסה 1
גירסה מס. 2 עם מנוע הזמנות אנכי של האתר - לחץ כאן למעבר לגירסה 2
המבקרים תוייגו באמצעות עוגייה (cookie) בעלת תוחלת חיים של 60 יום, על מנת שבכל ביקור נוסף של אותו יוזר, תוצג בפניו אותה גרסה אליה נחשף בביקורו הראשון.
הביקורים נוטרו באמצעות גוגל אנליטיקס ותגיות קנוניקל הוצבו בפרמטרים של כתובות ה URL, על מנת למנוע אינדוקס של כתובות שונות המציגות את אותו התוכן.
תוצאות
הניסוי נמשך עד אשר התקבלה מסה קריטית של הזמנות, גדולה דיה על מנת לאפשר הבחנה סטטיסטית בין שתי הוורסיות.
הנתונים הראו 0.32% המרה עבור גרסה מספר 2 עם מנוע הזמנות אנכי לעומת 0.23% ל גרסה מס. 1 עם מנוע הזמנות אופקי 1 – 52% המרה יותר לגרסה בעלת המצג האנכי (מנוע לגובה העמוד) של מנוע ההזמנות.
במספרים מוחלטים, התקבלו 119 הזמנות בגרסה מס. 2 עם מנוע ההזמנות האנכי מתוך 37,770 ביקורים לעומת 87 הזמנות מ 38,121 ביקורים. של גרסה מס. 1 עם מנוע ההזמנות האופקי.
במילים אחרות, 32 הזמנות יותר בגרסה מס. 2 עם מנוע ההזמנות האנכי, אשר התקבלו מכמות ביקורים קטנה ב 351 לעומת גרסה מס. 1 עם מנע ההזמנות האופקי.
לפיכך, הוסק כי גרסה מס. 2 עם מנוע ההזמנות האנכי ממירה יותר על פני גרסה מס. 1 עם מנוע ההזמנות האופקי.
סיכום טבלה מס. 1 : נתוני מבחן A/B – סיום ניסוי מיקום מנוע הזמנות
מסקנות והמלצות
על סמך הנתונים דלעיל, המלצנו לאמץ את גרסה מס. 2 עם מנוע ההזמנות האנכי בכל אתרי רשת מלונות Arenaturist.
תוקף סטטיסטי של הניסוי
יש לציין, כי ניסויים כמתואר לעיל רגישים תמיד לגודל המדגם (במקרה דנן – מספר ההזמנות). היות וכך, יש לבחון את התוצאות באופן סטטיסטי ולא לקבל החלטות פזיזות שאינן מתודיות.
ישנם מקרים, בהם המדגם הנדרש גדול מדי ואינו בר ביצוע. או אז אנו נדרשים לקבל החלטות על סמך ערכי מובהקות נמוכים יותר (וסיכוי גבוה יותר לטעות).
במקרים כאלו חשוב לקבוע מראש מהו גודל המדגם הנדרש ומהי רמת המובהקות המבוקשת, על מנת שלא לבסס את התוצאות על תחושה או גרוע מכך – להגיע למסקנות מוטות ומוטעות.
ניתן גם להיעזר ברכיב ה- Experiment המובנה בגוגל אנליטיקס.
מקרה המבחן של ארנה טוריסט הינו דוגמא מצוינת לנחיצות של תקפות סטטיסטית: הניסוי היה רגיש ביותר בשל כמות הזמנות נמוכה בתחילה.
אם היה הניסוי מופסק באמצע פרק הזמן שהוקצב, הנתונים היו מצביעים על היעדר הבדלים מובהקים בין שתי הגרסאות. יתרה מכך, לו היה הניסוי מופסק 3 ימים לפני מחצית הזמן שנקבע, הנתונים היו מצביעים על יתרון לגרסה מס. 1 עם מנוע ההזמנות האופקי.
אולם, מניתוח סטטיסטי עולה, כי אף אחת משתי המסקנות הנ"ל אינה תקפה, היות וההבדל בכמות ההזמנות שהתקבלו בכל גרסה, לא היה רחב מספיק על מנת לספק הבחנה סטטיסטית בין שתי הגרסאות.
טבלה מס. 2 : נתונים מוקדמים של מחצית תקופת הניסוי שנקבעה – אין הבדל סטטיסטי מובהק בין שתי הגרסאות.
טבלה מס. 3 : נתונים עבור עצירת הניסוי 3 ימים לפני מחצית זמן הניסוי – עדיפות קלה לגרסה מס. 1 עם מנוע ההזמנות האופקי.
סיכום
מקרה הבוחן של ארנה טוריסט ממחיש את הצורך בנתונים ברורים החיוניים לתהליך קבלת ההחלטות ואת הערך הרב שיש ל A/B Testing עבור חברות שיווק דיגיטלי, מנהלי שיווק ובעלי אתרים, המבקשים להחליט אילו רכיבים לכלול באתריהם. A/B Testing הינו כלי פשוט ליישום, המניב תוצאות ברות סמכא. הכלי מסייע להבחין ולהכריע בין שתי ורסיות על סמך ביצועיהן.
למרות זאת, כמו בכל כלי סטטיסטי, יש לנקוט בתנאים קפדניים ובתכנון זהיר, על מנת לאפשר תוצאות מדויקות.
