בוני אתרים ואנשי שיווק מקוון, יודעים היטב שלהיות מקום ראשון בתוצאות מנוע החיפוש בגוגל עבור מושג פופולרי, הוא סוג של גביע קדוש. עשרות ספרים ומאמרים נכתבו על מה קורה מאחורי הקלעים של כפתור ה"חפש", וקיימים אינספור שיטות וטריקים לקידום מיקום האתר ברשימת התוצאות המוצגת - אך באמת קורה שם, מאחור? האם יש לגוגל גמדים קטנים שאוספים מידע ברשת? בואו נבין איך זה עובד.
חשוב לזכור, ראשית כל, שחיפוש בגוגל אינו באמת מחפש באינטרנט כולה - אלא רק באינדקס האתרים של גוגל. האינדקס של גוגל, מעין קטלוג ענק של אתרים ברשת, גדל מדי רגע בזכות מערך הבוטים של גוגל.
רובוטים אלו, הם לא ממש רובוטים, אלא רק מכונים כך - אלה תוכנות אשר מתוכננות לסרוק, לפרק ולקטלג תוכן של עמודי רשת. הרובוטים הסורקים באופן קבוע את רשת האינטרנט מצרפים לאינדקס אתרים חדשים, כמו גם מעדכנים אתרים קיימים. הם מכונים בקיצור ובחיבה, Bots.
| מה שעשה את גוגל - חיפוש באינטרנט (צילום: רויטרס) |
אופן פעולת הרובוטים פשוט למדי. אלו מקבלים כתובות של אתרים, אם באמצעות ממשק הוספת האתרים של גוגל, המאפשר לכם ליידע את מנוע החיפוש בקיומו של אתר חדש, או אם באמצעות קישורים. הרובוטים סורקים את עמודי ה-Web ושומרים בין היתר, את כל הקישורים בעמודים אלו לסריקה במועד מאוחר יותר. כך גולשים הרובוטים ברשת, בעצם, ומוצאים באמצעות קישורים עוד ועוד עמודים.
לאחר שהרובוט של גוגל סורק את תוכן העמוד, מערכת האינדקס של גוגל מקשרת לכל עמוד בבסיס הנתונים, מילות מפתח שדלה הרובוט מהטקסט. מערכת האינדקסים מתעלמת כמובן ממילות קישור כמו "גם", "או" וכדומה, ושומרת רק את מילות ומושגי המפתח הרלוונטיים לכל עמוד.
בעת ביצוע חיפוש, מאתרת פונקציית השאילתה במערכת את כל העמודים בהם מופיעות מילות המפתח שהוקשו. מנוע החיפוש מציג אותם על פי סדר, שקובעת מערכת Page Rank של גוגל, המתיימרת למיין אתרים לפי איכות המידע, גילו, מספר גולשים לאתר, מספר הקישורים בעולם ועוד משתנים שגוגל מעדכנת מדי פעם במטרה לשפר את חוויית החיפוש.
בניגוד לחברות רבות המשתמשות בשרתי ענק בעלות גבוהה, החליטו בגוגל להשתמש במאות אלפים של מחשבים זולים, המפוזרים במספר חוות שרתים בארצות הברית והעולם. מחשבים אלו מריצים גירסה מותאמת של מערכת ההפעלה לינוקס על גבי מערכת קבצים פרטית של גוגל, GFS, המאפשרת גישה מהירה יותר לנתונים המאוכסנים בשרתים.
לדברי מריסה מאייר מגוגל,
בקשת החיפוש מהדפדפן שלכם תיגע בכ-700 מחשבים לכל הפחות בחוות של גוגל, טרם תקבלו למסך המחשב את תוצאות החיפוש וכל זאת תוך פחות משניה אחת.
לא ידוע במדוייק בכמה שרתים מחזיקה גוגל, אך ההשערות הן שמדובר בכחצי מיליון מחשבים בחוות ברחבי העולם שתפקידם למפות את האינטרנט ולאפשר לנו, למשתמשים, איתור מהיר ונוח של המידע הרלוונטי ביותר עבורנו.
שרתים אלו מחזיקים גם באופן מבוזר את שלל יישומי גוגל כמו שרות הדואר ג'ימייל ו-Google Docs וכן את נתוני המשתמשים בשירותים.
הביזור הגיאוגרפי של חוות השרתים, מאפשר לענקית החיפוש לא רק לספק שירות מהיר יחסית לגולשים כמעט בכל מקום בגלובוס, אלא גם מספק גיבוי מתמיד לנתונים הנשמרים במספר רב של מחשבים בכל עת.
רוב מנועי החיפוש בנויים בעצם בצורה דומה, כשההבדל הוא בדרך כלל באופן מיון התוצאות. חלק ממנועי החיפוש משתמשים בהצבעות משתמשים, חלק מסתמכים על מספר הקישורים. סינון והצגת התכנים בהתאם למילות החיפוש בשיטת Page Rank הוא בעצם הרוטב הסודי שהפך את גוגל למנוע חיפוש מוביל.
