אתרי תוכן: לרסן רובוטים של מנועי חיפוש

נכון להיום, גוגל, Yahoo ומנועי חיפוש אחרים מכבדים באופן וולנטרי את רצונו של מנהל האתר וסורקים אותו (או לא סורקים כלל) בהתאם. ההגדרות נשמרות בקובץ שנקרא robots.txt. תוכנות הסריקה של מנועי החיפוש, המכונות גם "crawlers", הן אלו ש"קוראות" ומבצעות את ההוראות שבקובץ.

בעל האתר יכול להגדיר בקובץ ה-robots.txt איסור מפורש על סריקתו או על דפים ספציפיים וקטגוריות בתוך האתר. בהצעת התיקון, שהוצגה בפני AP ביום ג' האחרון, דורשים בעלי האתרים להוסיף פקודות חדשות, שיאפשרו להם בין היתר להגביל את משך הזמן בו מנוע חיפוש יכול להציג את התכנים שסרק, או לומר לזחלנים לא להיכנס לאף אחד מהקישורים בדף מסויים.

השיטה הנוכחית מיושנת

"ההסדר הנוכחי לא נותן לנו מספיק גמישות ויכולת להציב תנאים משלנו על הגישה לתוכן שלנו", אומרת אנג'לה מילס-ווייד, מנהלת מועצת המוציאים לאור האירופית, אחת הקבוצות שמאחורי ההצעה. "היא הומצאה בשנות ה-90, אבל הדברים השתנו מאז".

Robots.txt פותח ב-1994, בעקבות תלונות של בעלי אתרים לפיהן הזחלנים של מנועי החיפוש מבזבזים את ה-bandwidth, רוחב הפס המוקצה להם מדי חודש, על כניסות חוזרות ונשנות לצורך סריקת האתר. למרות שהמערכת מעולם לא עמדה במבחן של גוף תקינה כלשהו, רוב מנועי החיפוש המובילים משתפים עימה פעולה.

החלופה אותם מציעים הארגונים היא ACAP - Automated Content Access Protocol, פרוטוקול שיציע לאתרים יותר שליטה על מנועי החיפוש. AP היא אחד מתריסר הארגונים שהצטרפו ליוזמה.

גוגל: צריך עוד לבדוק את זה

מפעילי אתרי חדשות טענו בעבר כי גוגל מפרסמת תקצירי ידיעות ותמונות ב-Google News ללא הסכמתן, נושא שגרם לסכסוך משפטי. גוגל טענה בתגובה כי מדובר בשימוש הוגן, אך בסופו של דבר התפשרה עם סוכנויות הידיעות והסכימה לשלם תמורת התקצירים (הסכומים המדוייקים לא פורסמו).

ווייד טוענת כי החלפת השיטה תמנע מאבקים משפטיים כאלו, וכי בעלי אתרים ירגישו יותר בנוח עם פרסום החומרים שלהם במנוע חיפוש - בידיעה שמדובר בעניין זמני. לדבריה, ACAP והפקודות החדשות ישתמשו בשפה דומה לזו של Robots.txt כך שלא ידרשו התאמות מורכבות לשיטה החדשה.

דוברת גוגל, ג'סיקה פאוול, מסרה כי החברה תומכת ברעיון של שיתוף פעולה בין האתרים למנועי החיפוש, אך יש צורך לבחון את ACAP יותר לעומק לפני שייושם על מיליוני אתרים. לפי שעה, המערכת נבחנה על קהילות מקוונות קטנות בלבד.

דן סאליבן, מפעיל האתר Web site Search Engine Land, מסכים כי Robots.txt "בהחלט מיושן וזקוק לשיפורים", אך מטיל ספק בפתרון הסוגיות המשפטיות, ואף סבור כי הפתרון ישרת אתרי חדשות יותר מאשר בלוגים, אתרי קניות ועוד.