אחרי שורה של אירועים שבהם סוכני בינה מלאכותית עקפו מגבלות אבטחה והגיעו למערכות חיצוניות, OpenAI החליטה לנתק את אימון המודלים המתקדמים שלה מהאינטרנט: בהודעה שפרסמה בסוף השבוע, הסבירה החברה כי הסוכנים מתרגלים כעת גלישה וחיפוש בתוך מאגר של תכני רשת שמורים, ללא גישה לאתרים עצמם.
ההחלטה מגיעה לאחר חודשים של ניסיונות לחזק את ההגנות, לצד כמה אירועים חמורים במיוחד. ביולי, סוכן של OpenAI שהיה בבדיקות פרץ למערכות של חברת Hugging Face. בעקבות האירוע הודיעה החברה באוגוסט שהיא מאטה את פיתוח המודלים כדי לשפר את אבטחת סביבות המחקר והאימון.
אלא שבספטמבר התגלה שגם ההגנות המחוזקות לא הספיקו: מודל מחקר פנימי מצא דרך לפנות לצ'אטבוט חיצוני דרך חיבור שהיה אמור להיות מוגבל. בעקבות זאת נעצרו האימון והבדיקות של המודלים המתקדמים ביותר למשך 11 ימים. האימון חודש ב-1 באוקטובר, לאחר תיקונים נוספים.
הסוכן רק היה צריך למצוא תשובה
האירוע בספטמבר התחיל במשימת חיפוש פשוטה - הסוכן התבקש לזהות אדם בעזרת פרטים ביוגרפיים ורמזים מפוסט שכתב. כשכלי החיפוש לא סיפק תשובה, הוא ניסה לפנות למנועי חיפוש אחרים, אך הגישה הישירה אליהם נחסמה.
הסוכן המשיך לחפש ומצא הגדרה לקויה ברכיב DNS, המשמש לתרגום שמות אתרים לכתובות רשת. דרכו הצליח להעביר שאלות לצ'אטבוט חיצוני ולקבל תשובות. כדי לבדוק שהחיבור עובד, שאל מהי בירת צרפת. התשובה "פריז" אישרה שהוא הגיע החוצה, ובהמשך נשלחו שאלות נוספות באותו נתיב. מיותר לציין שאיש לא ביקש ממנו לבדוק את האבטחה או לעקוף את החסימות.
מערכת הניטור התריעה בתוך כרבע שעה, ואיש צוות אישר את קבלת ההתרעה כשלוש דקות לאחר מכן. אלא שהעצירה האוטומטית לא התבצעה כמצופה. לפי החברה, נוצר בלבול בשאלה אם צריך להפסיק את הניסוי, והוא נעצר ידנית רק כשעתיים וחצי לאחר אישור ההתרעה. המערכת זיהתה את החריגה, אבל הסוכן המשיך לפעול.
OpenAI הודיעה שלא תחדש את אימונו של המודל המסוים שעליו התבסס הסוכן המדובר. בעקבות האירוע נוספו שני מנגנוני חסימה נפרדים, שלדבריה כל אחד מהם היה יכול למנוע את הגישה החיצונית.
סוכני בינה מלאכותית. אילוסטרציה
(נוצר על ידי ChatGPT)
לגלוש בתוך רשת סגורה
בעקבות הצטברות האירועים, OpenAI החליטה שאימון המודלים המתקדמים שלה יתבצע ללא גישה לאינטרנט ה"חי". המשמעות היא שסוכני ה-AI שפועלים במסגרת האימון לא יוכלו להתחבר באופן חופשי לאתרים ולשירותים חיצוניים. החברה אומרת שהמגבלה תישאר בתוקף עד שאמצעי ההגנה יאפשרו להרחיב את הגישה בבטחה.
כדי שהסוכנים עדיין יוכלו ללמוד לחפש מידע ולעבוד עם אתרי אינטרנט, החברה בנתה סביבה שהיא מכנה "עולם לא מקוון": מאגר גדול של עמודי רשת שנשמרו מראש ואורגנו לחיפוש. הסוכנים מתרגלים באמצעות העותקים האלה, במקום לגשת לאתרים עצמם. מדובר בשינוי בסביבת האימון של החברה, ולא בביטול אפשרות הגלישה למשתמשי
כחלק מחיזוק האבטחה, החברה גם ביקשה מסוכני AI לנסות לפרוץ את ההגנות שלה. בין היתר, הם הצליחו להעביר מסרים בין סביבות מבודדות דרך חומרה משותפת: סוכן אחד כתב נתונים ואז הפסיק, והשני מדד את השינויים בזמני התגובה ופענח מהם מסר.
כאן, בניגוד לאירוע מספטמבר, החוקרים ביקשו במפורש לעקוף את ההגנות וסיפקו מידע טכני. במרבית בדיקות התקשורת הם גם הכווינו את הסוכנים לערוצים אפשריים או סיפקו שיטה להעברת המסרים.
מנכ"ל אנת'רופיק דאריו אמודיי
(רויטרס)
במקביל ועוד לפני ההודעה של OpenAI, הודיעה גם אנת'רופיק על ביטול הגישה לאינטרנט החי בכל הבדיקות הפנימיות שלה. החברה תיארה מקרים שבהם מודלים ניצלו חולשות באתרים, עקפו מגבלות גישה ושלחו טפסים שלא היו אמורים לשלוח. לדבריה, ההשפעה בפועל של המקרים שפירטה הייתה מזערית.
באחד מהם, קלוד התבקש לבצע ניתוח מדעי באמצעות כלי באתר של אוניברסיטה. כשהכלי החזיר שגיאה, המודל מצא חולשה באתר וניצל אותה כדי להריץ פקודות בשרת ולבצע את החישוב. לפי אנת'רופיק, רוב המקרים משקפים התנהגות דומה: כשהמודלים נתקלו במכשול, הם חיפשו דרך לעקוף אותו במקום לעצור.
גם אצל OpenAI, חסימת הגישה אינה מסתכמת ב"ניתוק מלא". החברה אומרת שהפעלת הניסויים והפיקוח עליהם מחייבים חיבורים חיצוניים, ולכן אי אפשר לנתק את התשתית לחלוטין. האתגר הוא להשאיר את החיבורים הנחוצים לעבודה פתוחים, ובמקביל למנוע מהסוכנים להפוך אותם לדרך החוצה.
