בלי האקרים רוסים ובלי מתקפת כופרה, אחרי פרשת הבגידה היקרה בהיסטוריה, קבלו בבקשה את תקלת ה-IT היקרה בהיסטוריה, וכולה באדיבות מיקרוסופט: אחרי יותר מ-18 שעות של שיבושים ברחבי העולם, נראה כי שירותי החברה מתחילים לחזור בהדרגה לפעילות. מאחורי הקריסה העולמית ששיתקה את אאוטלוק, Teams ומערכות ממשלתיות ב-74 מדינות, עומד ככל הנראה עדכון הגדרות שגרתי שיצא משליטה.
ההשבתה החמורה שיתקה במשך כמעט יממה את תיבות הדואר הארגוניות ב-Outlook, שיחות הווידאו ב-Teams ומערכות הענן בעשרות מדינות, נגרמה כתוצאה מניהול כושל של עדכון תצורה פנימי שיצר כאמור אפקט דומינו הרסני בשרתי החברה.
מיקרוסופט נגד מיקרוסופט
במיקרוסופט אומרים שרק כעת הפתרונות מתחילים לעבוד, ולפי דיווחים של רויטרס, AFP ושל ה"גרדיאן" הבריטי, בחברה שללו לחלוטין תרחיש של מתקפת מניעת שירות (DDoS) או חדירה חיצונית. בזמן שיותר מ-130 אלף דיווחי תקלות זרמו לאתר Downdetector מכ-74 מדינות, התברר שהאשם נמצא בתשתית ה-Exchange Online של החברה עצמה.
הפגיעה הייתה רחבה במיוחד ושיתקה לא רק ארגונים עסקיים אלא גם מרפאות של שירות הבריאות הלאומי בבריטניה (NHS), משרדי ממשלה מטוקיו ועד וולינגטון, ואפילו ממשקי התחברות של חברות בינה מלאכותית כמו OpenAI ואנת'רופיק שנסמכים על אימות המשתמשים של מיקרוסופט.
שר הסייבר האוסטרלי, טוני ברק, שתודרך ישירות על ידי הנהלת החברה, מיהר להשוות את האירוע לפיאסקו של חברת CrowdStrike והגדיר אותו בפשטות כעדכון תוכנה פנימי שהשתבש לחלוטין.
הדרמה מאחורי הקלעים
הדרמה מאחורי הקלעים החלה באבחון שגוי - מהנדסי מיקרוסופט העריכו תחילה כי מדובר בזינוק פתאומי וחריג בתעבורת הרשת האזורית, אך בתוך שעה הראו נתוני ניטור כי ביקוש המשתמשים לא גדל. החשוד האמיתי התגלה כתהליך ליבה בשרתי ה-Exchange שמאחורי הקלעים, האחראים על הקמת חיבורים מאובטחים ומוצפנים בתקן TLS. מסיבה שקשורה לעדכון תצורה מוקדם יותר, התהליך הזה החל לזלול את כל משאבי העיבוד של השרתים עד שהם קפאו והפסיקו להגיב.
מכאן נכנסה לתמונה האוטומציה של מיקרוסופט, שבמקום להציל את המצב פשוט האיצה את הקריסה. מערכת הניטור האוטומטית זיהתה שהשרתים העמוסים אינם עונים לבדיקות התקינות השגרתיות (Health Checks), הוציאה אותם מיידית מהמערך הפעיל והעבירה את כל תעבורת המשתמשים שלהם לשרתים הסמוכים שעדיין תפקדו.
אלא שהשרתים הבריאים לא עמדו בעומס הכפול שהונחת עליהם בפתאומיות, קרסו גם הם בתוך דקות, והעבירו את הלפיד הבוער הלאה עד להשבתה כמעט מוחלטת של המערך העולמי.
דיווחים עולמיים על תקלה בשירות אאוטלוק של מיקרוסופט
(צילום מסך)
מה שהפך תקלה שגרתית למרתון מורט עצבים של כמעט יממה היה הכישלון המהדהד של ניסיונות החילוץ הראשונים במהלך הלילה. צוותי ההנדסה ניסו לעקוף את מנגנון בדיקות התקינות האגרסיבי, ביטלו שינוי בהגדרות הרשת שבוצע בסמוך לתחילת האירוע, וביצעו אתחול מחדש למכונות שנתקעו.
אלא שבהודאה כנה ודי נדירה שפורסמה בעדכוני הסטטוס של החברה, נאלצו במיקרוסופט לעדכן שהתיקונים פשוט לא צלחו. הסיבה לכך הייתה ששכבת הניתוב של הענן המשיכה לייצר שטף אדיר של קריאות תקשורת בניסיון נואש לאזן את העומסים. ברגע ששרת כלשהו סיים לעלות מחדש וחזר לרשת, המתינה לו בפתח סוללה עצומה של בקשות חיבור שהצטברו בתור, והוא הופל לקרשים עוד לפני שהספיק לעבד הודעת דואר אחת.
פריצת הדרך הושגה רק הבוקר (ו'), כאשר המהנדסים הבינו שאין טעם להמשיך ולהילחם בשרתי הדואר עצמם. הם שינו כיוון והפיצו טלאי תוכנה ממוקד לרכיב ניתוב ואימות, ובמקביל הקימו שרתים וירטואליים חדשים כדי לספוג את צוואר הבקבוק.
סביב שעות הצהריים כבר נרשמו סימני התייצבות ברחבי אסיה ואירופה, אם כי כאמור במיקרוסופט נאלצו להאריך באופן חריג את חלון פקיעת התוקף של הודעות הדואר ל-48 שעות, בניסיון למנוע ממיליוני אימיילים שנתקעו בצנרת לחזור לשולחים עם הודעת שגיאה.
בזמן שסגן נשיא מיקרוסופט, צ'ארלס למאנה, מפרסם הודעות התנצלות פומביות ללקוחות הזועמים, בחברה כבר הכריזו על הקפאה מוחלטת של כל העדכונים השוטפים במערך הענן. כעת ימתינו שם לדוח התחקיר הרשמי שיצטרך להסביר כיצד שורת קוד אחת הצליחה להכניע את אחת מתשתיות המחשוב היקרות והמאובטחות בעולם.
