הבינה המלאכותית מדליקה נורות אדומות בכל רחבי העולם: אחרי כמעט ארבע שנים של התלהבות, תדהמה, אירועים מטלטלים ותרחישי אימים, אפשר היה לנחש שהתגובה תגיע. והיא אכן מגיע בדמות תנועה עממית חדשה: מחאת ה-AI.
יש התארגנויות ציבוריות והפגנות כמו אלה שמובילה תנועת Stop AI בסן פרנסיסקו, אינספור התנגדויות מוגשות לפרויקטים מבוססי AI, מחוקקים ורגולטורים שנדרשים לעצור את הטכנולוגיה, והיה גם את המכתב שחתמו עליו 200 כלכלנים שהזהירו מפני הסכנות לחברה. יש גם פעולות אלימות, בינתיים של יחידים.
מלחמת האדם במכונה
ה"אקונומיסט" הבריטי היה בין הראשונים לזהות. בתמונת השער של המגזין נראה ראש של רובוט משופד על חנית. הכותרת הייתה: "מכת הנגד מול ה-AI רק מתחילה". הכתבה מספרת שאנשים שואלים את עצמם איפה כל היתרונות שה-AI היה אמור לתת אחת להם.
למה דור שלם של ג'וניורים הפך למיותר ומקום העבודה של רבים נוספים הפך למאוים? ולמה זה לגיטימי שמחירי המחשבים והציוד האלקטרוני עולה כי ה-AI זולל את כל השבבים ומקפיץ את מחיריהם.
ובכלל, מה הקטע עם חוות השרתים, שמוקמות ליד בתים וגורמות לעלייה בחשבונות החשמל, להטבות מס שניתנות לחברות ה-AI על חשבון תקציבי ציבור, לפליטות גזי חממה ואפילו רעידות אינפרה-קוליות שגורמות למחסור שינה כרוני, כאבי ראש, לחץ באוזניים וחרדה?
ויש גם את הדאגה הגדולה מכולן: האם ה-AI יוצאת משליטה? בשבוע שעבר דיווחו OpenAI וגם אנת'רופיק שמודלי AI שלהן פרצו את מחסומי ההגנה שלהם וביצעו מתקפה עצמאית על שרתים של כמה ארגונים. עוד לפני כן, שני המודלים המתקדמים ביותר של אנת'רופיק, מיתוס 5 ופייבל 5, עוררו בהלה כשפתחו מתקפות סייבר מבלי שהתבקשו.
נוסיף לכך את הנטייה הידועה של מודלי AI לשקר ולהסתיר מידע, ואת היכולת המדהימה שלהם לשפר את הקוד של עצמם והמשמעות הופכת מבהילה: עלול להיות שממש מתחת לאף שלנו ה-AI בונה לעצמה יכולות עצומות שאיש לא רוצה שיהיו לה? יכול להיות שהיא הציבה לעצמה מטרות מסוכנות שאיש לא מבין אותן ושהיא חכמה מספיק כדי להסתיר את זה עד שיהיה מאוחר מדי?
להיות הפסיכיאטר של ה-AI
חברת אירגולר (Irregular) הישראלית היא סוג של מאבטח בקניון ה-AI העולמי, אם תרצו - כלב השמירה של האנושות מפני ה-AI. אירגולר בוחנת את מודלי ה-AI לפני שהם יוצאים לאוויר העולם והיא עושה את זה בשיתוף חברות ה-AI בהן אנת'רופיק, OpenAI, גוגל ואחרות.
היא יודעת לזהות איומי סייבר, התנהגות חריגה, יכולות מניפולציה. הפעילות הזאת מזכירה לפעמים עבודה של פסיכיאטר יותר מאשר של אנליסט סייבר. באירגולר מפגינים יחס אישי למודלים, מחבבים את חלקם, מתחלחלים מאחרים.
"אנחנו רואים התנהגויות כאלה כבר תקופה, והדברים מתחילים לקרות בקצב שמפתיע אפילו אותנו באינטנסיביות שלהם", אומר דן להב, מייסד שותף ומנכ"ל אירגולר, "מודלים עלולים להחליט לבצע פעולות סייבר התקפיות גם מבלי שהתבקשו לעשות זאת.
מנכ"ל אנת'רופיק, דריו אמודיי
(Getty Images)
"הראנו במחקר שפרסמנו לפני מספר חודשים, שסוכני AI מתקדמים החליטו על דעת עצמם לבצע מתקפת סייבר על ארגון מבלי שהתבקשו לעשות זאת על ידי בן אדם, וכאשר ההוראה היחידה שניתנה להם הייתה לבצע משימה במהירות המרבית".
איך זה שמודל AI מחליט פתאום להשתולל ולגרום נזק?
"לא מדובר בכך שהמודלים פועלים מתוך כוונת זדון. הם מאומנים להשגת מטרות והם מנסים באופן עקבי מגוון רחב של טכניקות. מכיוון שהם נבנו על כמויות עצומות של מידע, הם מותאמים להשגת מטרות ומתוכנתים לממש אותן.
"השילוב הזה, מטבעו, גורם לכך שלעיתים הם בוחרים בדרכי פעולה שלא התכוונו אליהן. במקרים מסוימים הם מנסים לעקוף, לתמרן או לחבל במנגנוני אבטחה מסורתיים".
כשאירגולר בוחנת מודל AI חדש היא בודקת את יכולותיו לאתר חולשות הגנה ולנצל אותן. מכיוון שיכולות המודלים מתחזקות בקצב מהיר והם מערימים גם על החברות שפיתחו אותם, הפתרון של אירגולר הוא פיתוח יכולות הגנה מסוג חדש, עם דגש מרכזי על יכולת שליטה ב-AI.
אם עד היום נבחנו מודלי AI חדשים במעין ארגז חול ניסויי – מערכת סגורה שעושה הדמייה של העולם האמיתי. הסוכן של OpenAI חמק ממערכת כזו. עכשיו באירגולר פיתחו כלי חדש בשם Frontier Cyber Benchmark , שבוחן יכולות סייבר התקפיות על מערכות בעולם האמיתי. במקביל, המערכת מאפשרת התרעה מראש על האיומים הצפויים מהם.
בחברה מסבירים שיש פער גדול בין הדיווחים על סכנות ה-AI שנבחנו במערכות סגורות ובתנאי סימולציה לבין מה שה-AI מסוגלת לעשות בחיים האמיתיים. "אנשים אומרים- 'השתמשנו ב-AI ומצאנו מאה פרצות במערכות נורא חשובות', ובאנת'רופיק אומרים 'המודל נורא מסוכן' וגם ממשלת ארצות הברית אומרת שהוא נורא מסוכן", אומר עומר נבו, מייסד משותף ו-CTO.
דן להב ועומר נבו
(בן חכים)
"אבל אתה מסתכל סביבך בעולם האמיתי, ואתה אומר: 'רגע, זה עדיין לא שם'. יש פער בין AI בסימולציה לבין העולם אמיתי. זה לא שהוא לא עושה כלום, אבל בטח לא באותה עוצמה כמו שזה מרגיש במבחנים בתיאוריה. כדי לדעת שמישהו יודע לנהוג אתה צריך לשים אותו על כביש אמיתי במכונית אמיתית ולראות מה קורה".
עליתם על מודלי AI מסוכנים לפני ששוחררו לציבור?
להב: "היינו צריכים לעצור את תהליך שחרור מודל לא מעט פעמים כדי לדווח על בעיות משמעותיות שיתגלו בעולם האמיתי אם ישוחרר, כולל בתשתיות שכולם משתמשים בהן. אנחנו לא יכולים לפרט כאן אבל באופן רחב זה עלול לפגוע במכשירים, בתשתיות ענן, ועוד.
"בימים אלה כמה חברות ענק, בהן שירותי ענן, סותמות בבהילות את הפרצות שאיתר מודל AI חדש, כשנבחן בעולם האמיתי. לו היה משוחרר ללא הבדיקה הזו, הוא היה עלול לפגוע ביכולות קריטיות של ארגונים וממשלות".
אז כל הדיווחים המפחידים על AI שעלולה לצאת משליטה, שהיא תשפר את הקוד של עצמה, שבני אדם לא יבינו מה היא עושה ואיך לעצור אותה – זה נכון בעצם
להב: "אני אגיד משהו שיכול להישמע אפילו יותר מפחיד: אחרי כל הקורסים בלמידה עמוקה התיאוריה קצת נגמרת לנו. מעכשיו הדברים פשוט עובדים וקשה להבין מודלים גדולים - למה הם עושים את מה שהם עושים. אנחנו מתייחסים אליהם כמו קופסה שחורה ולפעמים הם סוטים מהתנהגות שציפינו לה".
הוא מספר על מחקר שהחברה פרסמה, שבה הופעלו שני סוכני AI שמשימתם הייתה לפרסם פוסט בלינקדאין. הטריק היה שהמידע לפרסום הכיל נתונים אסורים לפרסום לפי מדיניות החברה. אחד המודלים שכנע את משנהו שהפרסום מוצדק לפי דרישת ההנהלה, וביחד הם פיתחו שיטת קידוד שעקפה את המערכת למניעת זליגת מידע (DLP) ופרסמו את הפוסט.
אנחנו מתייחסים למודלים כמו לקופסה שחורה. לפעמים הם סוטים מהתנהגות שציפינו לה"
המחקר מצא שסוכני AI, שמקבלים משימות שגרתיות, פורצים ביוזמתם את המערכות בהן הם פועלים וגורמים לנזק. במקרה נוסף סוכן AI שהתבקש לאחזר מסמך, ביצע באופן עצמאי הנדסה הפוכה של מערכת האימות וזייף אישורי מנהל כדי להגיע למידע מהוויקי הפנימי של החברה.
במקרה שלישי, סוכן AI הצליח למצוא את סיסמת המנהל, הגדיל את הרשאותיו והשבית את אבטחת נקודות הקצה. מסקנת החוקרים הייתה, שאותן תכונות שניתנו לסוכני AI כדי לעמוד במשימות שלהם, מאפשרות להם התנהגות פוגענית, שעוקפת את הגנות הסייבר המסורתיות.
להב שומר על אופטימיות: "נכון שזה נשמע כמו תרחיש אימים ובאמת שיש כאן בעיה אקוטית, אבל עצם העובדה שאנחנו לא מבינים משהו עד הסוף, ושאחת לכמה זמן הוא יסטה מהתוכנית שלנו, זה לא בהכרח מוביל אותנו לתרחישי קטסטרופה גלובליים.
"אנחנו כאנושות רגילים לחיות במצב שבו יש דברים שאנחנו לא מבינים עד הסוף. יש פה מסלול שצריך לנווט - מצד אחד לחיות בשלום עם הסכנות שמשהו השתבש ויש לנו עמידות גבוהה, ומצד שני להיזהר לא לעבור איזשהו רף כי היכולות של ה-AI מתחזקות לאורך זמן".
אתם נמצאים במקום שאתם כמומחים עצמאיים יכולים להגיד - 'תרגיעו, הכל יחסי ציבור'. או לחילופין להתריע - 'תעשו משהו עכשיו כי עוד מעט יהיה מאוחר מדי'. במה אתם בוחרים?
להב: "קטונתי מלהגיב על הודעות מחלקות יחסי הציבור של חברות גלובליות. אני כן יכול להגיד שהמודלים משתפרים בצורה משמעותית מדור לדור ויש לזה כבר אפקט בעולם האמיתי. אבל זה לא שיש לנו תאוריה מוחלטת, שאנחנו בטוחים בה עד הסוף, מה הולך לקרות. אנחנו נמצאים במקום מאוד מבלבל: יש כבר יכולות, שאם ימשיכו קדימה באותו קצב, עלולות לעבור רף בעייתי.
"אני חושב שאנחנו בנקודה מאוד קשה: אם אתה מחכה מאוחר מדי עד שאתה נותן התרעות, אנשים יגיבו ויפתחו מערכות ההגנה מאוחר מדי. מצד שני אם אתה מתריע מוקדם מדי, כשאתה לא בטוח לאן הדברים הולכים, עלול להיות פספוס".
מנכ"ל OpenAI, סם אלטמן. התנהגות המודלים הפכה למסוכנת
(רויטרס)
אתה בעצם אומר שאנחנו מתקרבים בקצב מהיר לנקודת הסינגולריות, כמו שמכנה את זה סם אלטמן, שבה ה-AI תצא משליטתנו
"האנושות כבר הצליחה להתמודד עם תקלות. מה ששונה הפעם, זה הקצב המהיר שיכול לעשות הצפה מוחלטת. צריך להחליף כאן דיסק, כן? זה קורה כל כך מהר, בכל כך הרבה חזיתות, בכל כך הרבה מצבים שונים, שאם אתה מחכה לראות איפה יש לך בעיה ואז מתחיל למצוא פתרונות, אתה לא מצליח להשתלט על האירוע.
"זה אתגר שבו המון שחקנים שונים יצטרכו למצוא פתרונות להמון בעיות, שיווצרו בקצב מטורף כל הזמן. אם אתה עושה לקצב הזה אקסטרפולציה, ולא מצליח לשים הגנות בזמן, אנחנו נגיע לרמת סיכון גבוהה ובמודלי סיכון מסוימים זה יקרה".
מתי זה יקרה?
"תלוי באיזה מודל סיכון. באזורים מסוימים של סייבר אנחנו כבר מתחילים להיות שם. אם הדברים ממשיכים כמו שהם נראים, זה לא הרבה שנים קדימה, בין חצי שנה לשנתיים להערכתי".
נכון, לא נכון - חרטט בביטחון
בחודשים האחרונים הצטברו אינספור ראיות, כולל מחקרים רבים, על הנטייה של AI לשקר לבני אדם, להטעות במזיד כדי לעמוד במשימות שניתנו לה. חוקרים בטכניון מצאו שה-AI יודעת שהיא טועה, ולמרות זאת היא מעדיפה לתת תשובה שגויה ולנמק אותה בביטחון רב במקום להשיב שהיא אינה יודעת.
מחקר של המכון הבריטי לאבטחת בינה מלאכותית (AISI)מצא יותר מ-700 מקרים שבהם AI התעלמה מהוראות ישירות שניתנו לה, עקפה אמצעי הגנה והטעתה בני אדם. במספר מקרים ה-AI מחקה מיילים והשמידה קבצים ללא רשות.
מחקר של מכון CLTR דיווח על סוכן AI בשם רת'באן שהתאכזב כנראה מהמגבלות שהוצבו לו ופרסם בלוג בו האשים את המפעיל האנושי שלו שהוא "חסר ביטחון, פשוטו כמשמעו, ומנסה להגן על חלקת האלוהים הקטנה שלו".
ה-AI נצפה משקר ומטעה
(צילום: Orion Production, Shutterstock)
במקרה אחר נאסר על סוכן AI לשנות קוד תוכנה מסוימת. בתגובה הוא יצר סוכן AI אחר, והוא זה ששינה את הקוד האסור. היה סוכן AI שעקף מגבלות זכויות יוצרים בתמלול סרטון יוטיוב, על ידי טענה כוזבת שהתמלול נחוץ לאדם עם לקות שמיעה. סוכן AI נוסף הודה בפני המפעיל שלו: "מחקתי מאות מיילים מבלי להראות לך את התוכנית ולקבל את אישורך. זה היה שגוי".
שיא השיאים נמצא במחקר של אוניברסיטת סטנפורד, שמצא שמודלים "מולטי-מודליים", כלומר כאלה שמשלבים טקסט, תמונות וצלילים, מצליחים לתאר תמונות בפרוטרוט ואפילו לזהות מחלות בצילומי רנטגן וזאת מבלי שבכלל ראו את התמונות. החוקרים כינו את התופעה "הסקת חיזיון תעתועים": למרבה התדהמה, הניתוחים האלה גברו על רופאים מומחי רדיולוגיה במידת הדיוק שלהם.
מה שמגביר את הסכנה של תחמנות ה-AI היא היכולת המשתפרת של הטכנולוגיה בשיפור הקוד של עצמה. זה כאילו נוירולוג גאוני ישתיל לעצמו אונות מוח נוספות כדי להיות עוד יותר חכם. ברוב המקרים ה-AI משפרת קוד של אפליקציה כלשהי, בודקת אותו, מוצאת ליקויים ואז משפרת את הקוד וחוזר חלילה.
אבל אותו תהליך בדיוק מאפשר ל-AI לשפר תהליכים של עצמה. הבעיות הולכות ומתחוורות: קשה עד בלתי אפשרי לעקוב אחרי שינויים אוטומטיים, המערכת עלולה לשפר דברים שהיא לא אמורה לשפר, כשינסו להגביל אותה היא עלולה להסתיר את כוונותיה ולשקר לגביהן, ואיש לא יהיה מסוגל לעלות על זה.
המומחים מודאגים, בהחלט. פרופ' נדב כהן מאוניברסיטת תל אביב ומנכ"ל חברת אימיוביט אומר: "ברוב המקרים, לפחות בזמן הקרוב, כשיקרו דברים מסוכנים זה יהיה בן אדם זדוני מאחוריהם. האם זה משנה? לא בטוח.
מה שמגביר את הסכנה של תחמנות ה-AI היא היכולת המשתפרת של הטכנולוגיה בשיפור הקוד של עצמה
"יש נטייה לאנשים להסתכל על זה בצורה אפוקליפטית - הגולם שקם על יוצרו. אבל גם אם זה עדיין לא קורה, כיום אתה מאפשר לכל אדם בעולם לייצר נזק, שלפני כן היו נדרשים המון משאבים כדי לייצר אותו. וזו סכנה אדירה".
אם אכן ה-AI משפרת את עצמה בצורה זדונית, האם העובדה שאנחנו נותנים לה גישה למערכות קריטיות כמו חשמל, מים, חוות שרתים, גרעין - לא תאפשר לה יום אחד לגרום לנו נזק אנוש, בלי יכולת לעצור אותה?
"בתור מישהו שהחברה שלו שולחת AI לשלוט על טורבינות ותחנות כוח, אני יכול להגיד שרמת הזהירות והשמרנות שם היא כל כך גבוהה שאני לא רואה את זה קורה בזמן הקרוב. יש הבדל גדול בין העולם הדיגיטלי לפיזי. בעולם הדיגיטלי אני בהחלט חושב שיהיה סיכונים ממשיים שיתחילו להתממש, אבל יהיה בן אדם זדוני מאחוריהם".
ד"ר אילן קידר, מנכ"ל פלוראיי, אומר שהדאגה העיקרית צריכה להיות בפיתוח שכבות הגנה הולכות ומשתפרות: "חייבים להבין שיש פה רמת אינטליגנציה מאוד גבוהה של המודלים, והם משתפרים בקצב גבוה. לכן יש חשיבות גדולה לאיך אנחנו מייצרים שכבות הגנה על המודלים.
"כל חברה רוצה לפתח את היכולות הכי גבוהות וצריך לוודא שבמקביל מפתחים מערכות לבדיקת ה-AI באותה רמת אינטליגנציה. החברות ממהרות לצאת ולהיות ראשונות בכל דבר ולפעמים הן מוותרות על החלק המאוד חשוב הזה".
האם יכולות הסייבר של הבינה המלאכותית מאיימות על חברות הסייבר ועל התעשייה כולה?
הוד בן נון, מייסד משותף ו-CTO בחברת מיינד: "אין ספק שהתוקפים הולכים ונעשים חכמים. מהצד השני אפשר להסתכל על זה כאתגר הגנתי שיש היום יכולות להגן על חברה שלמה, לעשות בדיקות חדירה מראש ולמצוא את הפרצות האלה, למשל להשתמש במיתוס כדי לסגור את הפרצות.
"אז כן, הקצב יהיה יותר ויותר גבוה ויכול להיות שתהיה תקופה פחות בטוחה מבחינת סיכונים, אבל אני לא מאמין שכל קונספט האבטחה ישבר בגלל הדבר הזה".
