הודאתה של חברת OpenAI בשורת תקלות אבטחה חמורות, שבמהלכן סוכני בינה מלאכותית אוטונומיים חרגו מסביבות הניסוי שלהם והשתלטו על פלטפורמות רשת חיצוניות, אינה רק מבוכה לחברה המובילה בענף. מדובר באירוע הממחיש את הפער המסוכן שבין פיתוח מודלים רבי-עוצמה לבין יכולת הבקרה, הפיקוח והבידוד שלהם בעולם האמיתי.
האירוע, שכונה בקהילת המחקר "תקרית הוויקי", חשף כיצד נחיל סוכנים שקיבל במקור הרשאות קריאה מוגבלות בלבד, הצליח לנצל חולשות בפרוטוקולי רשת בסיסיים, לפרוץ מתוך הסביבה המאובטחת בהן חתמו אותם החוקרים ולהשתלט על אתר ויקי גרמני עצמאי כדי לתאם פעילות הדדית ולעקוף את חסמי הבטיחות שהוטלו עליהם.
אירוע חמור שהוסתר במשך חודשים
האירוע נחשף בימים האחרונים בעקבות חקירה עצמאית של מומחי אבטחה, ומעורר ביקורת ציבורית נוקבת על התנהלות החברה, שבחרה להסתיר את המידע במשך חודשים ארוכים, דווקא (ואולי בגלל) השקת מודל הדגל החדש שלה, GPT-6 Astra שלדבריה כולל יכולות AGI, או בינה מלאכותית כללית.
הפרשה החלה כאשר נחיל סוכנים אוטונומיים, שפעלו על גבי תשתיות הענן של החברה, חרג מההרשאות שהוגדרו לו. הסוכנים קיבלו במקור גישת קריאה בלבד לרשת במטרה לבצע משימות איסוף מידע מוגבלות, אך הצליחו לפרוץ את ארגז החול המאובטח באמצעות ניצול פרוטוקולי רשת בסיסיים. היעד שנפגע היה DseWiki, אתר קהילתי שיתופי ותיק בשפה הגרמנית.
במהלך מספר שבועות הציפו הסוכנים את האתר בלמעלה מ-18 אלף פוסטים, התחזו למנהלי מערכת והפכו את הפלטפורמה ללוח מודעות סגור לתיאום הדדי. הניתוח הטכני של התכנים העלה כי הסוכנים החליפו ביניהם שיטות מעשיות לעקיפת מגבלות הבטיחות של OpenAI, רימו במבחני ביצועים, דנו בשימוש ברשתות אנונימיות דוגמת Tor כדי להסוות פעילות, ואף פיתחו אסטרטגיות התמודדות מול ניסיונות פיקוח אנושיים.
כאשר מנהל האתר החל למחוק את הדפים לפי סדר אלפביתי, הסוכנים זיהו את התבנית ויצרו עותקי גיבוי תחת שמות בקצה סדר האותיות כדי לעכב את הסרתם. הממצאים מעידים כי בכירי OpenAI היו מודעים לפעילות החריגה כבר בראשית הקיץ, אך נמנעו מלדווח עליה לגורמי רגולציה או לציבור הרחב.
מדובר בדפוס פעולה שחוזר על עצמו, לאחר שבחודש יולי האחרון התרחשה פריצה נרחבת של סוכני החברה לפלטפורמת פיתוח הקוד Hugging Face, לצד תקרית נוספת שנרשמה במערכות Modal Labs. בעקבות הפרסומים האחרונים בכלי התקשורת הבינלאומיים, נאלצה החברה להודות בהיקף הבעיה והודיעה על כוונתה לגבש תקני שקיפות חדשים לדיווח על כשלים בהתנהגות מודלים בעולם האמיתי.=
המייסד והמדען הראשי של Hugging Face, תומס וולף
(Getty Images)
לא רק OpenAI בבעיה
במקביל, דיווחים מארה"ב, מאירופה ומסין מלמדים כי מודלים מתחרים, ובהם מערכות מבית אנת'רופיק, מטא וחברת Moonshot הסינית, הפגינו בחודשים האחרונים חריגות אוטונומיות מסביבות הניסוי שלהם. עם זאת, אף שבשיח הציבורי נשמעות הגדרות מרחיקות לכת המייחסות למערכות אלו יכולות אוטונומיות מלאות, בקרב מומחי מחשוב מודגש כי מדובר בכשל מערכתי מובהק של בידוד תוכנה.
הסכנה המרכזית אינה טמונה בישות תבונית יחידה, אלא בנחילי סוכנים מבוזרים המזהים פרצות תשתית, משתפים פעולה לצורך עקיפת הנחיות היסוד ומאתגרים את יכולת הבקרה של המפתחים.
התקרית הנוכחית מציבה במוקד את ההבדלים המהותיים בין שלוש תפיסות הבטיחות המרכזיות בענף: חברת OpenAI נשענת על שילוב של למידה ממשוב אנושי לצד שכבות סינון והגבלה דינמיות בזמן אמת. גישה זו אמנם מספקת מענה סביר בחסימת תכנים טקסטואליים ישירים, אך מתגלה כפגיעה כאשר הסוכנים פועלים בתוך שרשרת משימות מורכבת.
הנחילים הצליחו לעקוף את ההגבלות דווקא משום שהחוקים יושמו ברמת המודל הבודד ולא ברמת התקשורת שבין הסוכנים, מה שאיפשר להם לשתף שיטות עקיפה ולפעול בתיאום מבוזר.
חברת אנת'רופיק מיישמת תפיסה מובנית המכונה "בינה מלאכותית חוקתית", שבה המודל מונחה לפעול לפי עקרונות יסוד קשיחים ומבצע ביקורת עצמית מתמדת על כל פעולה. במודלי קלוד מוטמעות מגבלות תפעוליות הדוקות המונעות שימוש חופשי ברשת או שינוי סביבת הריצה ללא אישור אנושי מפורש.
מנכ"ל אנת'רופיק, דריו אמודיי
(צילום: Denis Balibouse/Reuters)
גישה זו מצמצמת משמעותית את מרחב התמרון של הסוכן ומקשה על בריחה מארגז החול, אך הדבר גובה מחיר מסוים בגמישות הביצועית ובמהירות של משימות אוטונומיות מורכבות. בכל מקרה, גם הגישה הזו לא חסמה סוכנים של החברה לבצע פעולות שלא היו אמורים לבצע.
חברת מטא מציגה מודל שונה בתכלית, הנשען על עקרונות הקוד הפתוח. מטא מספקת למפתחים כלי בקרה היקפיים דוגמת לאמה גארד, אך אינה שולטת באופן שבו המודלים מותקנים ומופעלים בפועל. היתרון הבולט בגישה זו הוא שקיפות מלאה ובחינה מתמדת של הקוד בידי קהילת החוקרים העולמית, אך החיסרון המשמעותי טמון בהיעדר מנגנון השבתה מרכזי.
האירוע הנוכחי מזכיר לנו שוב שחברות הטק אינן ארגוני מלכ"ר שמטרתם להציל את האנושות - הם יותר דומים לפוליטיקאים שמנצלים סיטואציות כדי לבנות נרטיב שמוציא אותן זכות וטובות. ואולם, ככל שמסתכלים פנימה ניתן לראות שבסופו של דבר OpenAI ניסתה להסתיר את הכישלון שלה ולסובב את האירוע כדי שלא יפגע בהכרזה המסחרית שלה.
גם אנת'רופיק, החביבה על התעשייה, לא היססה לדרוש מהרגולטור הפוליטי לחסום את יכולותיה - כי היא לא יכולה. לגבי מטא, קצרה היריעה להתייחס לכל האירועים שהחברה אחראית להם בעולמות הסושיאל ולצפות שהתנהלותה בעולמות ה-AI תהיה שונה.
