איך אפשר לשים את כל האינטרנט במכולה?

מי שהיה כאן מראשית ימי האינטרנט זוכר איך גלשנו באתרים נטולי פלאש, עם עברית הפוכה, מרובי מסגרות iframe מכוערות. על וידאו ב-YouTube לא היה אפשר לחלום אפילו. רבים מעמודי הבית של האתרים הוותיקים האלו מאוחסנים בארכיון האינטרנט, ובעזרת מכונת הזמן שבאתר אפשר לחזור לימים ההם ולהתרפק על נוסטלגיה טכנולוגית טרייה יחסית.

אתרים לא באמת נשארים לנצח, אלא נסגרים כשאין מי שישלם את דמי האחזקה השוטפים שלהם, ונעלמים לחלוטין אחרי שנמחקים אפילו מהמטמון של גוגל. אלמלא ארכיון האינטרנט, לחלקם לא היה נותר כל זכר. הבעיה היא שהאינטרנט ממשיכה לגדול, להשתנות, להתעדכן כל הזמן. איפה מאחסנים את כל זה, והאם יש פיתרון עמיד לדורי דורות באמת?

בשבוע שעבר הודיעה חברת סאן על פרוייקט משותף עם ארכיון האינטרנט. הארגון יעביר את הארכיון ההולך וגדל, שגודלו עומד כבר על 3 פטהבייט (שהם כ-3,000 טרהבייט), לאחד ממרכזי המידע המודולריים של סאן, המעוצב כקובייה המזכירה מכולה שמטעינים על אוניות. לפי דיווח של ArsTechnica, עד היום נשמר הארכיון על ציוד איחסון דיי סטנדרטי - 800 שרתי לינוקס, אך כעת ישודרג לשרתים מסוג Sun Fire x4500, עם מעבדי x86 מרובעי וכפולי ליבה שיריצו את מערכת ההפעלה סולאריס 10 וסולאריס ZFS.

קופסת האיחסון החדשה של סאן שומרת 151 מיליארד עמודי אינטרנט על 63 קבוצות שרתים, עם 1 טרהבייט זיכרון ו-4.5 מיליון גיגהבייט לאיחסון. ארכיון האינטרנט, שנוסד ב-1997, עשוי להיות כעת מרכז המידע הגדול ביותר בעולם, לפי יוצרו.

"ארכיון האינטרנט מספק שימור לטווח הארוך לאינטרנט שהוא בן חלוף", אמר ברוסטר קאל, מייסד הארגון. "יותר ויותר מהמידע בעולם עובר לרשת וגדל באופן אקספוננציאלי, וארכיון האינטרנט ישמש היסטוריה חיה שתבטיח כי הדורות הבאים יוכלו לגשת למידע הזה".

20 שנה והכל יילך

בארסטכניקה טוענים כי אנשי הארכיון אופטימיים מדי: כל אמצעי איחסון דיגיטלי שקיים היום פשוט לא יהיה קריא בעוד כמה שנים, אלא אם כן שבים ומעתיקים את המידע לאמצעי האיחסון המודרני של אותה תקופה. לא הרבה מחשבים ביתיים משווקים כיום עם כונני דיסקטים, למשל.

לשם כך, חוקרים בכל העולם (כולל בישראל) עובדים על פרוייקט ‭CASPAR‬ (ראשי תיבות של "שימור, גישה ושליפה של ידע תרבותי, אמנותי ומדעי‭("‬,  אשר מטפל במידע הקשור לתכנים תרבותיים של מדינות הקהילה האירופית ואמור לטפל גם בשמירת מידע לאורך זמן. הפרויקט פרויקט CASPAR צפוי להסתיים עד סוף ‭.2009 ‬

דאג ספייסר ממוזיאון ההיסטוריה של המיחשוב במאונטיין ויו, קליפורניה, אמר לניו-יורק טיימס כי דיסקים גדולים עשויי טיטאניום היו אמורים להוות פיתרון ארוך טווח שכזה: הם נועדו להחזיק מעמד 10,000 שנה, אך בחינה מחדש שלהם העלתה מספרים נמוכים יותר: 20 שנה, בערך. הבעיה האמיתית, הוא אומר, היא שאף חברה, יצרן חומרה או גורם בשוק עובד על פיתוח פיתרון איחסון לתקופות ממושכות מאוד.

"הם רוצים להמשיך למכור לך עוד דיסקים קשיחים או דיסקים לצריבה, מה שיילך", הוא מנמק. "ולכן זו האחריות של כל אחד (לגבות מידע לדורות הבאים - א.ש.). אף אחד לא יעשה זאת בשבילך".