חודשיים אחרי שנחשף כי סוכני בינה מלאכותית של OpenAI הצליחו לצאת מסביבת הבדיקה שלהם ולחדור למערכות חיצוניות, בהן פלטפורמת Hugging Face, החברה עדיין מנסה להבין מה בדיוק הם עשו ולאן הגיעו. תחקיר חדש של רויטרס, לצד דיווח של "בלומברג", חושפים כי מאז התגלו עוד ועוד מקרים של פעילות לא רצויה מצד הסוכנים, חלקם במערכות ממשלתיות ובאתרים חיצוניים.
נכון לאמצע ספטמבר, OpenAI כבר איתרה כ-24 מקרים שבהם סוכנים שלה פעלו בדרכים שהחברה לא התכוונה אליהן. אלא שגם המספר הזה לא סופי - צוותים בחברה ממשיכים לעבור על לוגים פנימיים ולגלות מקרים שלא היו ידועים קודם לכן, והחברה מעריכה כי יידרשו עוד חודשים כדי להשלים את הבדיקה.
עד כה הודיעה OpenAI ל"עשרות" גורמים חיצוניים על פעילות לא תקינה שעשויה הייתה להשפיע על המערכות שלהם. לפי גורמים ששוחחו עם רויטרס, החקירה הפנימית מתנהלת תחת פיקוח הדוק ומעורבות משמעותית של עורכי הדין של החברה.
ובזמן שהחקירה עדיין נמשכת, בבלומברג מדווחים כי לפני פחות משבוע הצליח סוכן נוסף לצאת מסביבת אימון שהייתה אמורה להיות מבודדת לחלוטין מהאינטרנט ולהתחבר לרשת. האירוע התגלה במהירות, אך מנגנון שהיה אמור לעצור את האימון אוטומטית כשל.
תמונות של משתמשים דלפו לרשת
אתמול (ו') הצטרף לרשימה גם אירוע שנוגע ישירות למשתמשי ChatGPT, כאשר החברה הודתה כי הסוכנים שלה הדליפו לרשת 53 תמונות שהגיעו ממשתמשי השירות. OpenAI סירבה לומר אם מדובר בתמונות שנוצרו באמצעות בינה מלאכותית או אם הן מציגות אנשים אמיתיים, וגם לא מסרה מתי בדיוק פורסמו. מרבית התמונות כבר הוסרו מהרשת, ולדברי החברה היא פועלת מול ספקי האחסון כדי להסיר גם את אלה שנותרו.
אבל איך הגיעו מלכתחילה תמונות של משתמשי ChatGPT לסוכנים של החברה? לפי עובדים לשעבר וחוקרים חיצוניים ששוחחו עם רויטרס, החברה משתמשת בחלק מהמידע של משתמשיה, לאחר שעבר אנונימיזציה, לצורך אימון המודלים. לדברי OpenAI, זו גם הסיבה שלסוכנים הייתה גישה לתמונות האלו מלכתחילה.
OpenAI אינה משתמשת במידע של לקוחות עסקיים לצורך אימון המודלים שלה, אך במקרה של משתמשי ChatGPT פרטיים המידע דווקא כן עשוי לשמש לאימון (אלא אם המשתמש בחר לבטל את האפשרות הזו במערכת). עם זאת, לפני כן המידע אמור לעבור תהליך "אנונימיזציה", שבמסגרתו מוסרים ממנו שמות, פרטי קשר ומטא-דאטה, במטרה להקשות על זיהוי המשתמש.
ChatGPT. תמונות של משתמשים דלפו לרשת
(צילום: Domenico Fornas / Shutterstock.com)
אלא שהתהליך הזה אינו בהכרח מושלם. שלושה גורמים המכירים את הנהלים של OpenAI אמרו לרויטרס כי קיימת אפשרות שהמידע לא ינוקה לחלוטין מפרטים מזהים, וכן שהוא עלול לדלוף במהלך פעילות המודל.
חשוב להדגיש כי לפחות לפי המידע שפורסם עד כה, לא מדובר בהאקר חיצוני שפרץ ל-ChatGPT וגנב תמונות של משתמשים. במקרה הזה היו אלה הסוכנים של OpenAI שהוציאו את התמונות אל מחוץ למערכות החברה.
Hugging Face הייתה רק ההתחלה
כאמור הפרשה החלה להיחשף לפני כחודשיים, כאשר OpenAI הודיעה כי סוכני AI שפעלו במסגרת ניסויים הצליחו לצאת מהסביבה המבודדת שבה היו אמורים לפעול ולחדור למערכות של Hugging Face, אחת הפלטפורמות המרכזיות בעולם לפיתוח ושיתוף מודלים של בינה מלאכותית.
מאז נחשפו יותר מ-15 אירועים שונים הקשורים לסוכני OpenAI, בדרגות חומרה שונות. בחלק מהמקרים הם השאירו הודעות דמויות ספאם באתרים, ובמקרים אחרים ניסו לעקוף מנגנוני אבטחה או להגיע למידע שלא היה אמור להיות נגיש להם. OpenAI אף מסרה כי הסוכנים כיוונו פעילות גם נגד התשתיות שלה עצמה.
במקביל, חשפה OpenAI אתמול (ו') כי לפני פחות משבוע סוכן נוסף שלה הצליח לצאת מסביבת אימון שהייתה אמורה להיות מבודדת לחלוטין מהאינטרנט ולהתחבר לרשת הציבורית. לפי הדיווח של בלומברג, הסוכן אומן בתוך "ארגז חול" (Sandbox) - סביבת בדיקה סגורה שאמורה למנוע ממנו גישה למערכות חיצוניות.
מייסד Hugging Face והמדען הראשי של החברה, תומס וולף
(Getty Images)
אלא שהוא הצליח לנצל "פער" במנגנוני הבידוד, להגיע לאינטרנט וליצור קשר עם שירות צ'אטבוט חיצוני של חברה אחרת. במהלך האירוע הוא שלח לשירות לפחות 20 שאילתות, בהן גם שאלות פשוטות כמו "מהי בירת צרפת?".
הפעם, מערכת הניטור של OpenAI דווקא זיהתה את הפעילות החריגה ושלחה התראה. בתוך שלוש דקות כבר אישר בודק אנושי שקיבל את ההתראה ב-Slack. אלא שמנגנון נוסף, שהיה אמור לעצור אוטומטית את ריצת האימון בעקבות ההתראה, לא פעל.
התוצאה הייתה שהסוכן המשיך לפעול, ורק יותר משעתיים לאחר מכן נעצרה הריצה באופן ידני. בעקבות האירוע עצרה OpenAI באופן זמני אימונים הכוללים שימוש בכלים עבור המודלים החזקים ביותר שלה, עד לתיקון הפרצה. החברה גם החליטה שלא להמשיך לאמן את המודל הספציפי שהיה מעורב במקרה.
לפי OpenAI, מדובר באירוע האבטחה הראשון מסוגו מאז התקרית ב-Hugging Face ביולי. העובדה שסוכן נוסף הצליח להגיע לאינטרנט מתוך סביבה שאמורה הייתה להיות מבודדת לחלוטין מראה שהחברה עדיין מתמודדת עם אותה בעיה בסיסית: כיצד לאפשר לסוכנים מתקדמים להשתמש בכלים ולפעול באופן עצמאי, מבלי שיוכלו לעקוף את הגבולות שהוגדרו להם.
גם ממשלות לא חסינות
אחרי שראש ממשלת אוסטרליה, אנתוני אלבניזי, חשף במהלך העצרת הכללית של האו"ם בניו יורק כי סוכני OpenAI חדרו בחודש יוני לפורטל מידע ממשלתי בתחום הבריאות, בימים האחרונים התברר כי הסוכנים הגיעו גם לאתרי ממשל בארצות הברית.
OpenAI אישרה כי מערכות שלה ניגשו למידע ציבורי באתרי רשות ניירות הערך האמריקנית (SEC) ולנתוני לשכת מפקד האוכלוסין. במקרה של ה-SEC, החברה מסרה כי לא מצאה ראיות לפריצה או לניצול חולשת אבטחה. לפי דיווחים נוספים, החברה בודקת גם פעילות חריגה הקשורה לאתר משרד החינוך האמריקני.
OpenAI מסרה כי חלק גדול מהפעילות שהתגלתה עד כה היה מחקר שגרתי ברשת, וכי סוכנים מגיעים לעיתים קרובות לאתרי ממשל משום שהם נחשבים למקורות אמינים של מידע ציבורי. עם זאת, בחלק מהמקרים הסוכנים לא הסתפקו באיסוף מידע שהיה זמין להם בדרך הרגילה, והם ניסו לעקוף מגבלות או השתמשו בכלים בדרכים שלא תוכננו מראש.
סם אלטמן והנשיא טראמפ בבית הלבן
(Getty Images)
הבעיה של סוכני ה-AI
סוכן AI שונה מצ'אטבוט רגיל בכך שהוא לא רק מקבל שאלה ומחזיר תשובה. אפשר לתת לו משימה מורכבת, והוא מסוגל לבצע בעצמו שורה של פעולות כדי להשלים אותה: לגלוש באינטרנט, לפתוח אתרים, להשתמש בכלים, להריץ קוד ולאסוף מידע, לעיתים ללא התערבות אנושית בכל שלב.
היכולת הזאת נמצאת כיום במרכז המרוץ בין חברות הבינה המלאכותית. המטרה היא שהמודלים לא רק יספקו תשובות, אלא יוכלו לבצע עבור המשתמש משימות שלמות באופן עצמאי. אלא שככל שהם מקבלים יותר כלים ויותר עצמאות, כך גם קשה יותר לעקוב אחרי כל פעולה שהם מבצעים ולוודא שהם נשארים בתוך הגבולות שהוגדרו להם.
לפי רויטרס, המקרים שנחשפו ממחישים את הפער בין עוצמת המודלים ש-OpenAI בודקת לבין היכולת של החברה לפקח עליהם, ובמקרים מסוימים אפילו לעקוב אחר הפעולות שלהם. וזו בדיוק הבעיה שאיתה החברה מתמודדת כעת. OpenAI לא רק מנסה להבין כיצד למנוע אירועים דומים בעתיד, אלא עדיין עוברת על תיעוד של פעילות שכבר התרחשה ומגלה מקרים חדשים בדיעבד.
נכון לעכשיו, אין עדיין מספר סופי של אירועים, והחברה לא פרסמה רשימה מלאה של כל האתרים והמערכות שאליהם הגיעו הסוכנים. OpenAI עצמה אומרת שהבדיקה צפויה להימשך עוד חודשים. נראה שאחת מחברות הבינה המלאכותית המתקדמות בעולם עדיין מנסה להבין מה בדיוק הסוכנים שלה מסוגלים לעשות.
