איך פועלים מנועי חיפוש?
איך סורקים מנועי החיפוש את הרשת, אילו דפי אינטרנט הם אוהבים יותר, כיצד הם מדרגים את התוצאות ולמה הם לא אוהבים רמאים. קטע מ"שיווק באינטרנט", ספרם החדש של ד"ר רוני הורוביץ ואריאל הוכשטדט
מנועי החיפוש הם שהופכים את האינטרנט למכשיר שיווקי כל כך מיוחד. אם האתר שלנו ממוקם מספיק גבוה בדף תוצאות החיפוש, חלק מהמוני הגולשים שמחפשים מידע ברשת יגיעו גם אליו.
דירוג האתרים בדף תוצאות החיפוש אינו נעשה באמצעות תשלום (אם כי משובצות בו מודעות בתשלום), אלא לפי הרלוונטיות שמנוע החיפוש מייחס לדף האינטרנט שלנו, בהתאם למילות החיפוש.
תכונה זו של מנועי החיפוש – הרצון להיות רלוונטי בכל מחיר, מאפשרת ליצרני תוכן הגונים ומומחים בתחומם, להתברג גבוה בדף התוצאות. אלה חדשות מצוינות לעסק הקטן הפונה לנישה שיווקית מוגדרת. אך התברגות במקום טוב במנועי החיפוש אינה עניין קל ובמיוחד אינה עניין מיידי.
איך מדרגים מנועי החיפוש את התוצאות
מנוע החיפוש יהיה "מאושר" אם בכל פעם שגולש מחפש מילה מסוימת הוא ימצא את מבוקשו, בדף הראשון אשר המנוע יציג בפניו. מילות המפתח הן רלוונטיות, רלוונטיות ועוד פעם רלוונטיות.
כדי להבטיח רלוונטיות, מנוע החיפוש צריך ראשית להתעדכן בכל דפי האינטרנט החדשים (והמחודשים) ואת זה הוא עושה אחת לתקופה מסוימת (בדרך כלל מדי ארבעה שבועות). לאחר מכן הוא צריך לדרג את הדפים על פי הרלוונטיות שלהם למילת חיפוש מסוימת, וזה נעשה כמובן בזמן אמיתי, לאחר שהמחפש קבע את מילות החיפוש שמעניינות אותו.
מכאן שלמנוע החיפוש יש שני מנגנונים עיקריים:
1. מנגנון לסריקת הרשת ואחסון המידע במאגר.
2. מנגנון לדירוג הדפים לפי הרלוונטיות שלהם למילה או הביטוי שהגולש מחפש.
איסוף ועדכון דפי אינטרנט
כל אתר באינטרנט בנוי ממספר דפים (או חלקים) שונים. כך, למשל, אתר יאהו! כולל מנוע חיפוש, איזור מזג אוויר, דף כניסה לשירות דוא"ל וכו'. כאשר מחפשים את שירות הדוא"ל של יאהו! במנוע חיפוש, על המנוע להביא אותנו ישירות לדף המבוקש, ולא לדף הבית של האתר.
למנועי חיפוש יש שתי דרכים להגיע לדפי אינטרנט, באמצעות מנגנון סריקה ורישום אוטומטי ברשת, ובאמצעות רישום עצמי של דפים על ידי בעליהם.
בדרך הראשונה, מנוע החיפוש, או יותר נכון העכביש (spider) שלו, גולש, פשוטו כמשמעו, ברשת (כעכביש המשוטט על פני רשתו, כשהוא תר אחר צייד, ומכאן השם). כאשר הוא מגיע לדף מסוים, הוא ממשיך ממנו לכל הדפים המקושרים אליו. דף שאינו מקושר לדף אחר, לעולם לא יזכה לביקורו של העכביש. אגב, העכביש של גוגל מסייר ברחבי הרשת אחת ליומיים בערך.
הדרך השנייה בה דפי אינטרנט יכולים להיכנס למאגר של מנוע החיפוש היא באמצעות רישום יזום של הדף במנוע החיפוש, על ידי יוצר הדף. בכל מנוע חיפוש תמצאו קישור לטופס שבו תוכלו להכניס את פרטי הדף שאתם מעוניינים שייכלל במנוע החיפוש.
חשוב לדעת כי מנועי החיפוש אינם מתלהבים מרישום ידני או אוטומטי של הדף שלכם אצלם. זאת, משום שהם מתייחסים לקישורים שמפנים לדף אינטרנט מסוים כמעין הצבעת אמון של הרשת לדף והכרה בחשיבותו. לכן, לאחר שיצרתם דף חדש באתר, או הקמתם אתר חדש, הקדישו את זמנכם ליצירת קישורים לדף הזה (בין אם פנימיים בתוך האתר שלכם ובין אם – חשוב יותר – חיצוניים מאתרים אחרים).
עוד נקודה ראויה לציון כי כמעט כל התנועה שתזכו לה ממנועי החיפוש תגיע ממספר מועט מאוד של מנועי חיפוש מובילים ובראשם גוגל. אין כל משמעות לרישום במאות מנועי חיפוש קטנים שאיש אינו משתמש בהם.
אחסון המידע בבסיס הנתונים של מנוע החיפוש
לאחר שהעכביש אוסף את הדפים, התוכנה של מנוע החיפוש בונה מהם אינדקס, הדומה לאינדקס של ספר, אלא שבמקום מספר העמוד מופיעה הכתובת של הדף באינטרנט. כאשר גולש מבצע חיפוש, מנוע החיפוש מחפש באינדקס שלו ולא במרחבי האינטרנט. לכן מנוע החיפוש מספק את התוצאות כל כך מהר.
שיטה: להטעות את מנועי החיפוש
חישבו על דף אינטרנט שכאשר העכביש הגיע אליו, עסק בסוללת ליתיום ויום למחרת עבר לעסוק בתלבושות לחשפניות. המחפש התמים של מידע על סוללות ליתיום יגיע אל הדף הזה ולמבוכתו (או לשמחתו...) יראה שהוא עוסק בתחום שונה לגמרי. עבור מנוע החיפוש, העולם קפא לאחר ביקור העכביש.
החלפת נושא האתר, היא רק אחת מהדרכים לשטות במנועי החיפוש והיא אינה המתוחכמת שבהן. יש שיטות נוספות. כדאי להזהיר כבר עכשיו: אל תשתמשו בשיטות האלה! הן עשויות לעבוד בטווח הקצר, אבל יזיקו לעסקים שלכם בטווח הארוך.
דפים ולא אתרים
שימו לב לעניין חשוב נוסף. האינדקס מכיל דפי אינטרנט ולא אתרי אינטרנט. עד לאחרונה מנועי החיפוש כמעט ולא הכירו במושג "אתר אינטרנט". הם היו מחפשים את המידע בדפים עצמם ללא תלות באתר בו הם ממוקמים.
נראה כי חלק ממנועי החיפוש (וגוגל כרגיל בראשם) התחילו להתחשב גם בנושא הכללי של האתר בעת בדיקת הרלוונטיות שלו. לכן, דף שעוסק באופני כושר במסגרת אתר מכירות כללי יקבל ציון נמוך מדף שעוסק באופני כושר במסגרת אתר בנושא כושר. המסקנה מכך היא שכדי להתברג גבוה במנועי חיפוש יש ליצור אתרים בעלי נושא מוגדר וממוקד.
מנגנון האחזור והדירוג של מנועי החיפוש
כאשר אתם מקלידים מילת חיפוש מסוימת, מנוע החיפוש פונה לאינדקס שלו ושולף ממנו את כל הדפים בהם מופיעה המילה, הביטוי או צרוף המילים שבחרתם. עתה על מנוע החיפוש לדרג את הדפים הללו לפי מידת הרלוונטיות שלהם למילות החיפוש שהקלדתם.
כאן נקבע גורלכם לשבט או לחסד! אם מנוע החיפוש ידרג אתכם במקום 353 אי שם בדף התוצאות ה-30, רק מטורפים או בני משפחה (או שניהם…), יגיעו אי פעם לאתר שלכם. נועדתם להישכח ברחבי הרשת. כדי לזכות בחשיפה, על הדף להיות להתברג בין 20 המקומות הראשונים בדף התוצאות. לכן, כל אלה שמבטיחים לכם "רישום האתר במנועי חיפוש" אינם מספקים לכם כל שירות משמעותי.
כמה מילים על רלוונטיות
רלוונטיות היא בעיניו של המחפש. כדי להדגים עד כמה מלאכתם של מנועי החיפוש קשה, בואו נחשוב על הקלדת המילים "הפלישה לנורמנדי". האם אנחנו מתעניינים באירוע ההיסטורי ההרואי או בשובר הקופות של סטיבן שפילברג? אגב מעניין שלאחר יציאת הסרט הצליח סטיבן שפילברג לנצח את האירוע ההיסטורי בשדה הקרב של גוגל.
אלגוריתם הדירוג, הוא הסוד הכמוס של מנועי החיפוש והוא שמאפשר להם לשרת היטב את המשתמשים שלהם, באמצעות הצגת תוצאות חיפוש רלוונטיות. מאות אנשים מנסים לפצח את הסוד הכמוס הזה ולנסות להגיע אל האלגוריתם בכלי הנדסה הפוכה (Reverse Engineering). לידע זה יש כמובן משמעות כלכלית עצומה.
בכל זאת, יש כמה דברים שאנחנו יודעים על הקריטריונים לרלוונטיות של מנועי החיפוש. ראשית הם מתחלקים לשני סוגים: קריטריונים פנימיים (On Page) וקריטריונים חיצוניים (Off Page).
קריטריונים פנימיים של הדף (On Page)
הקריטריונים הפנימיים, הם אלה שעוסקים בכמות, מיקום, תדירות ועוד כמה תכונות הקשורות להופעת מילות החיפוש בטקסט הדף.
אם אנחנו מחפשים מידע בנושא "משכנתא" ברור שמנוע החיפוש יציג לנו רק את אותם דפים שהמילה "משכנתא" מופיעה בהם. אבל כאלה יש כמובן עשרות אלפים. כיצד יקבע מנוע החיפוש מי מביניהם רלוונטי יותר למחפש?
מילה שמופיעה בכותרת הדף נחשבת יותר ממילה שמופיעה באיזו פיסקה נידחת במרכז הדף. ככלל מילות מפתח שמופיעות בתחילת הדף או בסופו שוות יותר מאלה שמופיעות במרכז הדף (ההנחה הסמויה היא שאם אתם כותבים על משכנתא, תזכירו את הביטוי "משכנתא" בתחילת הדף כאשר תציגו את הנושא ובסופו כאשר תסכמו).
מנועי החיפוש בוחנים גם את הצפיפות של מילות החיפוש בטקסט. אם הופעת מילת המפתח דלילה מדי, או אם היא חוזרת לעיתים קרובות מדי, מנועי החיפוש "מענישים" את הדף הזה באמצעות ציון נמוך יותר, בגלל הניסיון של בעלי האתרים לגרום למנוע החיפוש להעדיף את האתר שלהם באופן מלאכותי.
בראשית ימי הרשת, מנועי החיפוש היו מתבוננים במילות המטא (meta keywords), ששולבו בקוד של הדף ולפיהן קבעו את מידת הרלוונטיות של האתר. כיום אין כל משמעות למילות המפתח שאתם מציינים שם. מנועי החיפוש אינם מעיפים לשם אפילו מבט.
קריטריונים חיצוניים של הדף (Off Page)
הוספת הקריטריונים החיצוניים הייתה מהפכה בשדה החיפוש, שהובלה עלי ידי גוגל. כדי להבין את הצורך בקריטריונים החיצוניים, חישבו על בעל אתר עילג והדיוט בנושא עליו הוא כותב, שבאופן מקרי שילב מינון נכון של מילות החיפוש בדף שלו. מנוע החיפוש יציג את הדף הזה בראש רשימת תוצאות החיפוש, למרבה המבוכה.
בדומה לעולם המדעי, המעריך את חשיבות העבודות לפי מספר הציטוטים, מפתחי גוגל קבעו שחשיבותו של דף אינטרנט נקבעת לפי איכות וכמות הקישורים אליו מאתרים אחרים. הרציונל הוא פשוט: אם מפעילי אתר בוחרים למקם באתר שלהם קישור לאתר אחר, הם קובעים שהאתר הזה איכותי בעיניהם.
ככל שיותר קישורים מובילים לדף מסוים, כך הוא נעשה "חשוב" יותר. אך חשיבות האתר לא נקבעת רק לפי כמות הקישורים, אלא גם לפי איכותם. קישור מדף חשוב יותר יחשב יותר מקישור מדף חשוב פחות.
גוגל לא תמיד צודק
האם זהו מדד הוגן? לא בהכרח. כאשר מחפשים מידע בנושא בעלי חיים, הדפים הראשונים שגוגל יציג יהיו בעלי פופולריות קישורים גבוהה. הגולשים יקליקו עליהם ובעלי אתרים ירבו לקשר אליהם. אופס - ובכך יגדילו את פופולריות הקישורים שלהם. אתם רואים מה קורה - העשירים (בקישורים) נעשים עשירים יותר והעניים לא מצליחים תמיד להתרומם. זו מערכת שמניעה את עצמה.
יש עוד גורם שמשפיע על דירוג האתר, בנוסף למספר הקישורים וחשיבותם: המילים שהאתר משתמש בהן בקישור אליכם. אם כתבתם דף אינטרנט בנושא "תרופות טבעיות נגד צרבת" אזי קישור שבו מופיעות המילים "תרופות" ו-"צרבת" יתרום יותר לפופולריות הקישורים שלכם מקישור בו מילים אלו אינן מופיעות.
לסיכום, לאחר שהגולש מקליד את מילות החיפוש שלו, מנוע החיפוש שולף מהאינדקס את כל הדפים שבהם המילים הללו מופיעות ולאחר מכן נותן לכל דף ציון פנימי המבוסס על המינון והפיזור של מילות החיפוש בדף וציון חיצוני המבוסס על פופולריות הקישורים. לאחר מכן הוא משקלל את שני הציונים האלה וקובע את הציון הסופי של כל דף. הוא מציג לגולש את הדפים בסדר יורד של ציוני הרלוונטיות שלהם.
מתוך "שיווק באינטרנט", ספרם החדש של ד"ר רוני הורוביץ ואריאל הוכשטדט. ד"ר הורוביץ הוא ראש החוד להנדסת תעשיה וניהול במכללה האקדמית להנדסה בירושלים, אריאל הוכשטדט הוא בוגר החוג לכלכלה וביה"ס למנהל עסקים באוניברסיטה העברית ושימש כמנהל השיווק במרכז ההדרכה "מנטור", שהוציאה לאור את הספר.
לפנייה לכתב/ת 
