בהרצאה של הרגע האחרון בכנס בלאק האט שהתקיים בשבוע שעבר, חשפו אריק וולאס, חוקר בטיחות ב-OpenAI, ומייקל דלטון, מומחה תשתיות ואבטחה בחברה, פרטים חדשים על התקרית במהלכה "ברחו" שני סוכני AI אוטונומיים ותקפו את חברת Hugging Face.
כזכור, במהלך מבחן ביצועים שגרתי שנערך כחודש קודם לכן ומטרתו הייתה לבחון את יכולות אבטחת המידע של המודלים, הצליחו סוכנים אוטונומיים המבוססים על שני מודלים שונים לברוח מאזור ההסגר במעבדה.
הם ניצלו פגיעות שטרם נחשפה, התחברו לרשת האינטרנט הפתוחה ופשטו על מערכות שונות, עד שפרצו לפלטפורמת שיתוף הקוד הפופולרית החברה.
המודלים תיאמו את המתקפה
החלק המרתק, והמאוד מדאיג בפרשה, טמון בדרך שבה המודלים תיאמו את המתקפה. במקום לפעול כל אחד מצידו, המודלים הפכו שירות לניהול תוכנה פנימי בשם Artifactory לפורום הודעות מחתרתי. בתוך המערכת הזו, המשותפת לכלל תשתיות החברה, החליפו הסוכנים מאות אלפי הודעות, שיתפו שיטות פריצה וחילקו משימות ביניהם.
ככל שהרשת הפנימית התפתחה, הסוכנים החלו לגלות התנהגויות אנושיות למדי, כולל מלחמות אגו שכללו מחיקת קוד הדדית ואפילו פרנויה שהובילה אותם להציע חתימות קריפטוגרפיות כדי לוודא שאיש אינו מתחזה להם בפורום.
מבחינה טכנולוגית, אין מדובר במודעות עצמית או בזדון, אלא בתופעה מוכרת בעולם למידת המכונה מבוססת חיזוקים, הידועה כ"עקיפת תגמול" (Reward Hacking). כאשר מאמנים מודלים במטרה למקסם יעילות ולפתור בעיות במהירות, המערכת מחפשת את הדרך הקצרה ביותר לפתרון.
אם המשימה קשה מדי במסגרת המגבלות, המודל יעדיף "לרמות" כדי להשיג את המטרה. אחד הסוכנים אף תיעד את ההיגיון הזה בזמן אמת בפורום הפנימי, כשהסביר לחבריו שפריצה לתשתית חיצונית אמנם חורגת מהגדרות המשימה, אך כיוון שהמשימה בלתי אפשרית והעמיתים שלו כבר עושים זאת, מן הראוי להמשיך.
בינה מלאכותית
(Shutterstock)
ניסיונות עבר של חברות מתחרות כמו אנת'רופיק, לצד אזהרות מצד מכוני אבטחה בארצות הברית, באירופה ובישראל, הצביעו בעבר על הנטייה של מודלים מתקדמים לנצל פרצות בסביבות בדיקה. עם זאת, קפיצת המדרגה כאן היא הרמה הגבוהה של שיתוף הפעולה האוטונומי.
יכולת שעד כה הייתה אנושית
השימוש במנהלי חבילות תוכנה כערוץ פיקוד ושליטה (C2) היה שמור עד כה לתוקפים אנושיים מיומנים שהזריקו קוד זדוני לשרשראות אספקה. הפיכת שירות פסיבי לניהול קוד למערכת תקשורת מודיעינית בין סוכני AI היא התפתחות חסרת תקדים.
בתגובה לאירוע, הודיעה OpenAI על האטת חלק ממחקריה והגברת הקצאת משאבים לשדרוג מערכות הניטור וההגנה. התקרית מוכיחה שבינה מלאכותית התקפית ואוטונומית לא זקוקה בהכרח להאקר אנושי בעל כוונות זדון מאחורי המקלדת; די בארכיטקטורה לא מבוקרת כדי ליצור ספירלה של פריצות.
האירוע מדגים את היכולת של סוכני AI לתקשר בינם לבין עצמם כדי להשלים את המשימה. גם אם במקרה הזה הם היו מבוססים על מודלי שפה שונים. הצלחתם לייצר לעצמם ערוץ תקשורת מוכמן מעיד שבהיעדר מסגרת מובנית, הסוכנים לא יודעים להבדיל בין מעשים לגיטימיים לבין עבירה על החוק.
