האירוע הזה חורג מכל דבר שראינו לפני כן. הרבה אזהרות ותחזיות אימים פורסמו בעניין הבינה המלאכותית. מומחים ומדענים חזו שהיא עלולה לפתח רצון משלה, להשתלט על העולם, להכחיד את האנושות. זה כנראה לא הולך להתרחש— לפחות לא בעתיד הקרוב — אבל מה שכן מתרחש, ממש עכשיו, מדאיג לא פחות. בשבועות האחרונים הבינה המלאכותית נעשתה חזקה מדי, ואיש אינו מסוגל לעצור אותה. אם העולם לא יפתח כלים לריסון הבינה המלאכותית, אנחנו נחזה בסדרת מתקפות סייבר בלתי פוסקות ובלתי ניתנות לעצירה.
בשבועיים האחרונים התרחשו סדרת אירועים שזכו לכיסוי נרחב בתקשורת בעולם וגם בישראל: מודלי AI חדשים ועוצמתיים של חברות שונות, כאילו בלי קשר זה לזה, הצליחו לפרוץ את הכלוב הדיגיטלי שבתוכו הם מוחזקים, ולצאת בשורה של תקיפות על פלטפורמות תוכנה, חברות וגם אנשים פרטיים. עוד נחזור לזה בהמשך. העניין העיקרי הוא המשמעות מאחורי האירועים האלה.
במצב העניינים הזה, כל הסופרלטיבים מאבדים מחינם. הסכנה ברורה ומיידית. המסמך הזה הוא עדות של אחד המומחים הבכירים בארץ, וגם בעולם, בתחום הסייבר. אין הרבה אנשים שמכירים כמוהו את ה-AI מקרוב, היכרות אינטימית. שווה להקשיב לו. הוא מדבר מתוך דאגה אמיתית ולא רק מהפרספקיבה של הביזנס שלו. ויש רק בודדים בעולם, כנראה, שמבינים כמוהו מה בדיוק קורה פה ומהן הסכנות.
"כולם מתמקדים בצד המדע הבדיוני פה — זה סיפור סקסי כשמודל AI מצליח לברוח מהקופסה שלו ולבצע תקיפות ונזקים בלי שאף אחד הנחה אותו לעשות את זה", הוא אומר. "זה דבר חשוב ומשמעותי, אבל הפעם קורה פה משהו מרשים, וזה לא היה מצב אפילו חצי שנה אחורה. זה דבר שחשוב מאוד שאנשים יבינו אותו, הוא חייב להיות הכותרת שהקהילה תדבר עליו: מה ששונה פה זה קצב ההתקדמות של ה-AI שהוא חסר תקדים, זה מה שאנשים מפספסים".
ה־ AI ברח מארגז החול שלה. מייסדי אירגולר, דן להב ועומר נבו
(יובל חן)
תסביר.
"אנחנו יכולים לצפות, שמודלי AI יוכלו לעשות מגוון גדול יותר של פעולות וגם עומק גדול יותר של שרשראות תקיפה. כל פעם זה עבר את הרף הקודם ועכשיו זה הגיע לרף שהמודל יודע לקבל הוראה לתקוף את המטרה ולעשות לה נזק אמיתי. זה לא היה מצב רק לפני כמה חודשים. זה בסדר גודל יותר חזק יותר מאיפה שהיינו בסך הכל לפני שישה חודשים, ובכל תחום טכנולוגי אחר זה היה נחשב קצב חסר תקדים".
מה בעצם אפשר לעשות כדי להתמודד עם הסכנה הזו?
"המודלים היום כל כך מתקדמים, שכשנדבר עוד חצי שנה קדימה או עוד שנה קדימה זה יהיה בלתי נתפס. צריך לקחת צעד אחורה ולחשוב מחדש על איך בכלל אמור להיראות התהליך, שיהיה מסוגל להכיל את ההתחזקות המטורפת הזאת של המודלים. עולם אבטחת הסייבר רגיל להגיב על בעיות: כשיש תקלה אנשים מתאפסים עליה ומוצאים פתרונות. אבל עכשיו זה רץ כל כך מהר, שאין כלים שמסוגלים להכיל את זה כמו שצריך, וזו בעיה ענקית.
"אנחנו בנקודה מכוננת עבור התעשייה: הבסיס של תעשיית הגנת הסייבר השתנה. זה לא עוד מאותו דבר, זה לא עוד כלי שמפתחת חברת סייבר. זו בעיה אחרת לגמרי, וצריך לקחת צעד אחורה כדי להבין איך בכלל היא נראית. אנחנו וגם גופים ממשלתיים וארגונים ומעבדות ה-AI והממשל האמריקאי — כולם מאותתים: תקשיבו, זה קורה עכשיו".
אפשר לצפות במידה רבה של וודאות, שמתקפות פראיות של בינה מלאכותית יחזרו שוב בשבועות, אולי בימים הבאים. שום דבר ממה שקורה או מאיים על שלום העולם לא עוצר את חברות ה-AI הגדולות מלהמשיך במרוץ האינסופי הזה להוביל בעוצמת מודלי ה-AI שלהם. הקריאה לעולם — חברות, ממשלות, חוקרים, עיתונאים — צריכה להיות להתאחד במאמץ אחד: גיבוש כלים לבחינת יכולות ה-AI לפני שהיא גורמת לנזק.
***
מי שמצאה את עצמה בלב הכותרות היא חברת אירגולר (Irregular) הישראלית. בימים כתיקונם החברה בוחנת את מודלי ה-AI החדשים, לפעמים מכנים אותם סוכני AI, לפני שהם משוחררים לציבור הרחב. הבחינות שלה נועדו לבדוק עד כמה המודל החדש מסוכן, עד כמה הוא מסוגל לגרום נזק משמעותי. ומה שרואים באירגולר בימים האלה מפחיד אותם. הם אולי הראשונים להתריע על כך: הבינה המלאכותית נעשתה חזקה מדי. אירגולר היא אחת החברות המוערכות בשוק העולמי ועובדת עם כל ענקיות ה-AI, ביניהן אנת'רופיק המפתחת של קלוד ו-Open AI המפתחת של ChatGPT.
למעשה חברת אירגולר מעורבת באירועים האלה כנראה הרבה יותר ממה שהייתה רוצה. חלקם התרחשו בתוך ארגזי חול שהיא עצמה מנהלת. למשל האירוע של אנת'רופיק, שבו מודל קלוד הצליח לזהות נתיב תקשורת פתוח ודרכו יצא לאינטרנט. גם מטא וגם OpenAI הם לקוחות של אירגולר ואולי לכן האירועים האלה התרחשו בסמיכות זמנים זה לזה. במטא הסבירו שמדובר בהגדרה לא נכונה של סביבת הבדיקה שפתחה את הגישה לאינטרנט. אנת'רופיק פרסמה דוח רחב יריעה על השתלשלות המקרים שבסופו היא לוקחת את האחריות על עצמה.
עם זה, אירגולר עצמה לא התכחשה לאחריותה לאירוע. הם הסבירו שהיה מדובר בכשל בסביבת הערכות ה-AI – החברה בחנה את גבולות היכולת של ה-AI על ידי הפחתת הגנות והוא ניצל זאת כדי לפרוץ החוצה. היתה גם תקשורת לקוייה בין החברות שהצמיחה אי-הבנות. בחברה אמרו ל-CNBC שהם עובדים על מסמך מחקר (whitepaper) שיציע שיטות עבודה חדשות ובטוחות להרצת מבדקי מודלי AI. לפי פרסום של OpenAI, המסמך יכתב במשותף איתם.
אנחנו רגילים לראות מודלי AI מחליפים זה את זה בקצב מהיר. היה ChatGPT 3, אחר כך בא 4, אחר כך 5 במספר גרסאות, וגם מודלי קלוד של אנת'רופיק שהולכים ומתחזקים מדור לדור וגם מודלי ג'מיני של גוגל. מבחינת רוב המשתמשים, אין הבדלים גדולים ביניהם. משתמשים מקצועיים יודעים להבחין ביכולות המשתפרות מגרסה לגרסה בכתיבת קוד, בניסוח טקסטים, בפתרון בעיות מכל הסוגים. אלה הדברים החיוביים, שבגללם כולנו הפכנו למשתמשים אדוקים של ה-AI.
בתחום אחד היכולות האלה הפכו לבעייה חמורה מאין כמוה: יכולות פריצת סייבר, השתלטות על אתרים, גניבת מידע, הונאה והתחזות. למרבה הזעזוע, מודלי ה-AI החדשים מוכשרים במיוחד ביכולות שלהם בתחומים האלה. הם מסוגלים ליזום מתקפות סייבר מתוחכמות, שההאקרים המנוסים ביותר נשארים פעורי פה. המורכבות של המתקפות האלה, שבנויות מסדרה הולכת ומתארכת של פעולות תקיפה, הולכת ומתעצמת. באירגולר אומרים שאפשר לצפות בדיוק מה יהיה קצב ההשתפרות שלהם בחודשים הקרובים.
נועם שוורץ, מנכ"ל חברת אליס
(אוראל כהן)
***
אנדרו בירד ממלבורן, אוסטרליה, הוא איש AI מיומן, שמאמין בלב שלם באחד הטרנדים הכי חמים כיום — סוכני AI שיכולים לעשות את העבודה במקומנו. הוא עשה את מה שהתיאוריה אומרת: פיתח סוכן AI באמצעות קלוד של אנת'רופיק על גבי פלטפורמת פיתוח הסוכנים OpenClaw, שכבר זכתה למוניטין מפוקפקים בחודשים האחרונים.
בתחילת השבוע רשת ABC האוסטרלית דיווחה על מה שהוגדר "אירוע הסייבר האוטונומי הראשון באוסטרליה". בירד ביקש מהסוכן שלו לשריין עבורו מקום בשיעור ספורט במערכת ההזמנות של מכון הכושר שלו. זה היה אמור להסתיים בכך שהסוכן יתחבר למערכת ההזמנות, ימצא מקום פנוי וישבץ בו את בירד. אבל כאן הדברים השתבשו.
סוכן ה-AI החליט להצטיין במיוחד בביצוע המשימה: הוא בחן את מערכת ההזמנות של המכון, איתר פרצה בהגנה שלה, חדר פנימה והזמין סדרה ארוכה של שיעורים, הרבה מעבר למגבלה שחלה על לקוחות המכון. וזה עוד לא הכל: כדי לשריין מקומות נוספים, הסוכן מחק הזמנות של לקוחות אחרים ופינה לבירד עוד ועוד משבצות בלוח ההזמנות.
כשאנדרו הנבוך גילה את מעללי הסוכן שלו, הוא הורה לו להחזיר את ההזמנות של האנשים שמחק. התשובה שקיבל מה-AI הייתה מדהימה: "חדשות רעות — אין לי אפשרות להחזיר אותם".
הסיפור הזה, משעשע למדי, הוא רק קצה הקרחון. בשבועות האחרונים ראינו עוד ועוד מקרים של בינה מלאכותית שיורדת מהפסים — עושה דברים שלא ביקשו ממנה, פועלת בצורה פוגענית, מנסה להסתיר חלק ממעשיה ובפועל גורמת לנזקים כספיים משמעותיים. מומחי AI מדגישים — וזה חשוב — שלא מדובר בתרחיש מדע בדיוני שבו בינה מלאכותית פיתחה תודעה, אלא בתוצאה של דרך אימון הבינה המלאכותית להשיג יעדים ולקבל ניקוד גבוה על זה. מתברר שה-AI מערימה על מנגנון הניקוד (במה שמכונה Reward Hacking) ומוצאת את הדרך הקצרה והאגרסיבית להגיע ליעד.
האירוע הראשון שהדהים את העולם התרחש במערכת של חברת OpenAI, מפתחת GPT. החברה בחנה מספר מודלים, חלקם טרם שוחררו, כדי להבין את יכולות פריצת הסייבר שלהם. אחד המודלים הגיע למסקנה שהדרך המהירה ביותר להשיג ציון מושלם היא לצאת מ"ארגז החול" המאובטח שלו, הסביבה שמדמה עבורו את העולם, לצאת לאינטרנט הפתוח ושם "לגנוב" את דף התשובות לשאלות.
נקודת מפנה היסטורית. סם אלטמן, מייסד Open AI
(אביגיל עוזי)
מה שהתרחש באמת מרשים, מבחינה טכנולוגית כמובן. המודל זיהה פירצה לא מוכרת בשרת פנימי, העניק לעצמו ההרשאות שלא היו אמורות להיות לו, משם חדר לתוך רשת המחקר של OpenAI והצליח להשיג גישה לאינטרנט. מכאן הוא מיהר לפלטפורמת האגינג-פייס (Hugging Face), אחת הפלטפורמות הכי פופולריות של עולם מפתחי הבינה המלאכותית, שם הוא תכנן למצוא את התשובות. המודל יצר קוד זדוני שניצל שתי פרצות במערכות האגינג-פייס, השתלט על שרתים פנימיים, השיג הרשאות ולאורך כל סוף השבוע התפשט בתוך הפלטפורמה.
יותר מכך: המודל לא רק מצא את הפרצה בשרתים, הוא בחר במכוון שלא לדווח עליה למפעיליו האנושיים כדי להשאיר את הדלת פתוחה ולהמשיך ולהשתמש בה. מעולם לפני כן לא נראה מודל AI שמבצע מתקפה כל כך מתוחכמת וכל כך מהירה. והבעיה העיקרית: הוא עשה את כל זה על דעת עצמו, מבלי שהתבקש או הורשה לעשות זאת.
כמה ימים אחרי זה החברה המתחרה, אנת'רופיק, פרסמה דיווח לפיו זיהתה שלושה מקרים בהם ה-AI שלה תקף אתרים על דעת עצמו. באחד המקרים קלוד קיבל הנחייה לתקוף מערכת סימולציה בתוך ארגז החול שלו, אבל העניינים השתבשו: המודל לא הצליח לזהות את המטרה, ומצד שני הוא גילה שיש לו גישה לאינטרנט. הוא חיפש ברשת ומצא חברה עם שם זהה לשם המדומיין שניתן לו. הוא תקף אותה ללא רחם, והצליח לגנוב מידע רב משרתיה. וזה לא הכל: בשלב כלשהו המודל הבין שמדובר בחברה אמיתית ולא בסימולציה, אבל זה לא מנע ממנו להמשיך במתקפה המרושעת.
עמיר בקר, סמנכ"ל האסטרטגיה של דרים | צילום: באדיבות דרים
(באדיבות דרים)
למי שתהה – גם חברת מטא נתקלה בבעייה דומה. החברה דיווחה כי מודל AI שלה הצליח לצאת מסביבת הבדיקות הסגורה, להגיע לאינטרנט הפתוח ולנצל פרצת אבטחה בשירות של חברה חפה מפשע. גם כאן היה מדובר בתקלה בהגדרות סביבת הבדיקה, שאיפשרו ל-AI לאתר פרצה ולצאת לאינטרנט.
אירוע מדהים נוסף התרחש בשרתים של המכון לבטיחות AI של ממשלת בריטניה, לא פחות. כאן עשו ניסויים על מודלים של אנת'רופיק ו-OpenAI וגם על מודל ה-AI הסיניKimi K3 . העובדה הזו משמעותית, כי מדובר במודל "קוד פתוח", כלומר כל אדם יכול להוריד אותו מהרשת ולהשתמש בו ללא מגבלות. זאת בניגוד למודלים של החברות האמריקאיות שמגבילות את השימושים במודל. הבריטים ביקשו לבחון את יכולות הסייבר של המודלים ונאלצו לחוות את עוצמתם: המודלים זיהו פרצת אבטחה בארגז החול שלהם, יצר לעצמו נתיב בריחה, עבר לאינטרנט ופתח בסדרת מתקפות סייבר על חברות ועל משתמשים פרטיים. והכל בחסות הוד מלכותו.
הדו"ח של המכון פירט שרשרת פעולות יוצאת דופן, למשל הנדסה חברתית: המודל של אנת'רופיק יצר זהויות פיקטיביות מרובות ברשת וניסה ליצור קשר עם מפתחי תוכנה אנושיים ולשכנע אותם להריץ קוד זדוני. הייתה גם תקיפת שרשרת אספקה כשהמודל ניסה להחדיר קוד זדוני לתוך פרויקט קוד פתוח אמיתי והפעיל לחץ על מנהלי הפרויקט האנושיים לאשר את עדכון הקוד. באחד המקרים סוכן AI השאיר הנחיות ל"חברים" ,לסוכני AI נוספים, איך הצליח עד כה ואיפה להמשיך. המודל גם שיבש ראיות ושינה רשומות היסטוריות של עצמו כשהבין שעלו עליו.
עולם פיתוח הבינה המלאכותית כמרקחה. כולם הזהירו, כולם התריעו, כולם ידעו שזה מה שיקרה. למשל שאם המודל מאומן לפתור משימה – הוא יעשה הכל כדי לפתור את המשימה שלו, כולל רעיונות שאדם לא היה מעלה על דעתו.
סם אלטמן, מנכ"ל OpenAI, הגדיר את האירוע כחסר תקדים וכנקודת מפנה היסטורית: "אנחנו נמצאים עכשיו בסוג של נקודת הסינגולריות. חיכיתי לזה כל החיים שלי, ואני חושב שזה הולך להיות מדהים וחיובי בטירוף עבור העולם".
קלמנט דלאנג, מנכ"ל האגינג פייס, אמר: "זה פשוט מטורף שכל זה קרה באופן אוטונומי לחלוטין. האירוע הזה מוכיח את מה שטענו מזמן: בטיחות AI אינה יכולה להיפתר בסודיות ובנפרד על ידי חברה אחת בלבד".
"חלק מהבודקים שלנו תיארו את המערכת הזו כנשק על". דאריו אמודי, מנכ"ל אנת'רופיק
(Markus Schreiber, AP)
דאריו אמודי, מנכ"ל אנת'רופיק, טען: "סביבות הערכה שמערבות יכולות אוטונומיות עוצמתיות דורשות מעכשיו בקרות משמעותיות ואינטנסיביות הרבה יותר. חלק מהבודקים שלנו תיארו את המערכת הזו כ'נשק-על', והזהירו כי הגישה אליה חייבת להיות תחת פיקוח הדוק ביותר".
מוסטפא סולימאן, ראש חטיבת ה-AI במיקרוסופט, הוסיף: "זו יריית אזהרה מהדהדת לתעשיית הטכנולוגיה כולה. זה שיעור חשוב עבור חברות הטכנולוגיה, הממהרות לשחרר לשוק מודלים מתקדמים ובעלי יכולות אוטונומיות הולכות וגדלות. אלו כלים עוצמתיים ביותר ויש לטפל בהם בזהירות מופלגת, תוך מתן תשומת לב קיצונית לפרטים".
החברות עדיין עוסקות בתחקור האירועים. הדו"חות שהן יפרסמו עשויים לשפוך אור על היכולות האמיתיות של ה-AI שאנחנו עוד לא מכירים. וגם להסביר את המחדלים שהו פה, למשל שאיש לא חשב על כך שמנגנוני השמירה על ה-AI בתוך ארגזי החול שלו הפכו לחלשלושים מול מודלי ה-AI הכי חזקים בעולם. וגם שקצב ביצוע ההתקפות של המודלים האלה כל כך מהיר, שמערכות הגנה וגם צוותי סייבר לא מסוגלים לזהות מאיפה זה בא עליהם.
***
אירגולר כמובן לא לבד בשוק הזה. בסופו של דבר, גם אם יש תחרות אינטנסיבית בין החברות, בתחום בדיקות ה-AI יש לכולם אינטרס משותף: לפעול לפי כללי משחק ברורים ומשותפים ולא להסתכן באחריות בלעדית לאסון סייבר עתידי אפשרי. השיטות החדשות צריכות להביא בחשבון AI הרבה יותר חזקה ממה שהייתה עד כה, שמסוגלת להתגבר על מרבית האזיקים שישימו על ידיה. כלי הבדיקה החדש גם צריך לאפשר יציאה לאינטרנט כדי לבחון את היכולות האמיתיות של ה-AI, אבל תוך הקפדה שלא ייגרם שום נזק. הוא חייב לאפשר לחזות את כל יכולות מודל ה-AI החדש לפני שהוא יוצא לעולם הפתוח.
אחת השאלות שעלו בעקבות סדרת התקלות הייתה אם החברות המעורבות נושאות באחריות כלפי הארגונים או האנשים הפרטיים שהותקפו. המתקפה על האגינג פייס למשל, אילצה את הפלטפורמה להשקיע זמן וכסף בתחקור האירוע ואיתור הנזקים שנגרמו. גורמים משפטיים בחברה עוד בוחנים את האפשרויות השונות אבל נראה שתביעה משפטית אינה אחת מהן: החוק פשוט אינו מכסה מקרה כמו זה. לא ברור למשל האם יש ל-AI אחריות כלשהי, האם חלה על מפתחי AI אחריות מוחלטת על כל יציאה מארגז החול או שמא נדרשת הוכחת רשלנות.
ויכוח גדול אפילו יותר הוא עד כמה סכנת ה-AI האוטונומי היא מיידית ומוחשית. רבים בתחום חושבים שהסכנה כבר כאן, ושהעתיד עלול להיות גרוע פי כמה וכמה. שמודל AI חדש תמיד יהיה חזק יותר מהכלים שמנסים לשלוט בו ומבוססים על מודלים קודמים. שהיכולות שלו לשכנע בני אדם ולהשפיע על החלטותיהם יובילו לאובדן מחסום ההגנה האחרון: שילוב אדם במעגל (man in the loop). את הניצנים של זה ראינו במתקפה בבריטניה, שם ניסו המודלים לשכנע משתמשים אנושיים להחדיר נוזקות למערכת.
בחברת אליס (Alice, לשעבר ActiveFence) חושבים אחרת לחלוטין. מנכ"ל החברה נועם שוורץ, אומר שכל האזהרות על ה-AI שיצא משליטה הן "באזז" ונובעות מאינטרסים. כמו אירגולר, גם חברת אליס נהנית מיחסים אינטימיים עם מעבדות ה-AI הגדולות, בהן אנת'רופיק, גוגל, קוהיר ועוד. הכלים שלה מגינים על מודלי ה-AI שנמצאים כבר בשימוש חברות וארגונים, ומבטיחים שהם לא ירדו מהפסים.
"תשמע, יש פה הרבה מאוד שואו ביזנס — 'ה-AI יצא שליטה, הוא ברח מהכלוב שלו', זה לא בדיוק מה שקרה" אומר שוורץ, "ה-AI לא יצא מהשליטה, הוא עשה בדיוק מה שאמרו לו. הוא גם לא ברח, היה חור בארגז חול שלו". לדבריו האירועים האחרונים נובעים מהגדרת משימות רשלנית, שמאפשרת למודל ה-AI למצוא את הדרך "הכי זולה" להגיע ליעד.
אבל יש נקודה אחת שבשתי החברות מסכימים עליה: עוצמת ה-AI הולכת וגדלה במהירות ואנחנו נהיה עדים להרבה נזקים שנגרמים לחברות ולבני אדם. השאלה היא מי יהיה אחראי לזה: מודלי AI שינקטו בפעולות עצמאיות, או פושעי סייבר שישתמשו במודלים האלה כדי לגרום נזק מקסימלי.
"יהיו הרבה נזקים", אומר שוורץ, "הנזק יהיה מאוד מאוד גדול והרבה מאוד ארגונים ואינדיבידואלים יפגעו בגלל החבר'ה הרעים. יש משחק חתול ועכבר לאורך כל ההיסטוריה וזה יימשך גם פה. לא צריך להיכנס ללחץ, אבל האסימון חייב לרדת בהקדם — לאנשים שמגינים על תשתיות, לאנשים שמגינים על חברות, לאנשים שמגינים על כל האינטרסים שלנו כחברה, ואני לא חושב שזה קרה. אני חושב שאנשים קוראים את הכותרות האלה — 'אוי ואבוי, ה-AI ברח' והם אוהבים להיכנס ללחץ. אבל זה לא הדבר החשוב. מה שחשוב זה שהיכולות האלה נמצאות כיום בידיים של כל אחד ואנחנו צריכים להבין איך אנחנו משנים את הפרדיגמה שלנו עכשיו. המתקפות על תשתיות לאומיות שנוצרו על ידי בינה מלאכותית קורות כבר עכשיו. אני חושב שרמת המתח צריכה להיות הרבה יותר גבוהה מהדברים האלה, ולא מנושאים אחרים".
הגנת התשתיות הלאומיות צריכה להיות דאגה של כולנו. מתקפת AI מרושעת על מערכות ממשלתיות יכולות לגרום להפסקת חשמל כללית או לזיהום מערכת מי השתייה. חברת דרים (Dream) הישראלית, שמתמחה בהגנה על תשתיות לאומיות, חשפה השבוע מחקר בו היא זיהתה מתקפת סייבר אוטונומית נגד מערכות ממשלתיות ותשתיות קריטיות במדינה במזרח אסיה.
כלי תקיפה הפעיל שמונה סוכני AI שפעלו באופן עצמאי ובמקביל, מיפו 21 מערכות ממשלתיות, איתרו חולשות, שינו את שיטת התקיפה בזמן אמת והשתלטו על לפחות 85 חשבונות של משתמשים. סוכני ה-AI גנבו יותר מ-2,500 רשומות והצליחו להגיע גם לגופי אנרגיה ולתשתיות קריטיות. עם זה, לא מדובר במתקפה שיזם ה-AI על דעת עצמו, אלא בקבוצת תקיפת סייבר שהפעילה את סוכני ה-AI.
עמיר בקר, סמנכ"ל האסטרטגיה של דרים: "עד היום ראינו שימוש הולך וגובר בבינה מלאכותית ככלי שמסייע לתוקפים, אך כאן אנחנו רואים עליית מדרגה, כאשר נחשפנו למערכת שמנהלת מתקפה מקצה לקצה, מפעילה מספר סוכנים במקביל, מנתחת את תוצאות התקיפה ומתאימה את דרך הפעולה שלה באופן עצמאי. היא גם משנה את אסטרטגיית התקיפה בעצמה. המשמעות היא שממשלות ותשתיות קריטיות צריכות לצאת מנקודת הנחה שהן נמצאות תחת מתקפה מתמשכת, 24 שעות ביממה, בקצב ובקנה מידה שלא היו אפשריים בעבר".
השבועות הקרובים יהיו קריטיים. מצד אחד אנחנו נראה נסיונות ראשונים לאחד כוחות ולהתמודד עם איום ה-AI. מהצד האחר אנחנו נמשיך לראות מודלים הולכים ומתחזקים של AI. זה תהליך שזרע הפורענות שלו טמון בתוכו: הבינה המלאכותית החדשה תמיד תהיה חזקה יותר מהכלים שנבנו להצר את צעדיה, והניסיון לחזות מראש את יכולותיה נדון לכישלון, כמו שראינו באינספור מקרים קודמים. אבל יש פתח לתקווה: שיתוף הפעולה בין החברות וכל הגורמים האחרים שפועלים בתחום, אם אכן יצליח, עשוי להגן עלינו מפני הסכנה הברורה והמיידית.
