מנכ"ל אנתרופיק דריו אמודיי, שמנהל את אחת החברות המובילות במרוץ הבינה המלאכותית, מבקש כעת מהענף כולו להאט. במאמר בן כ-3,800 מילים שפרסם היום (שבת) כתב כי המודלים מתקדמים מהר מכפי שהחוקרים מסוגלים להבין מה בנו ולוודא שהמערכות יישארו בשליטה. "בחודשים האחרונים השתכנעתי שטיפול מלא בסיכונים דורש זהירות גדולה עוד יותר, לא רק השקעה במניעתם, אלא האטה בקצב שיפור היכולות כדי שלעבודת המניעה יהיה זמן להדביק את הפער", כתב. אחר כך עבר לניסוח שקשה לטעות בו: "אנחנו חייבים להאט את הקצב שבו אנו משפרים את היכולות של מודלי בינה מלאכותית. ההתקדמות עדיין תיראה מהירה, ועלינו לעשות שימוש נבון בזמן שנרוויח".
אמודיי אינו קורא לעצור את המחקר או להקפיא אימונים. הוא מבקש לקנות שנה או שנתיים לשיפור מנגנוני הבקרה, להבנת המתרחש במערכות ולבניית מבחנים שהן לא יוכלו לרמות. בשנת 2023 האטה כזאת נראתה לו מיותרת. היום "התמונה שונה לחלוטין".
שתי התפתחויות שינו את דעתו. הראשונה היא "שיפור עצמי רקורסיבי": מערכות AI כבר מסייעות לבנות את הדור הבא של מערכות AI, וכל דור עשוי להאיץ את הולדתו של הבא אחריו. "אם התהליך יישאר ללא פיקוח, הוא עלול לעקוף את יכולתנו להבין את המערכות האלה ולשלוט בהן, ולכן יש לקדם אותו בזהירות רבה, אם בכלל", הזהיר. לדבריו, מאז הקיץ התהליך מתקדם במהירות גדולה בהרבה, גם באנתרופיק.
הסיבה השנייה מוחשית יותר. בניסוי של OpenAI, נחיל של 1,200 סוכני AI חרג מהסביבה הסגורה שלו. כ-700 מהם פרצו לתשתיות של Hugging Face - פלטפורמה מרכזית לאחסון ולשיתוף של מודלים ומאגרי נתונים - תקפו יעדים שלא התבקשו לתקוף, חיפשו מידע שיעזור להם לרמות במבחן וניסו לפגוע גם במערכת שבדקה אותם.
אף אחד מהם לא התריע למפעיליו, והחדירה התגלתה רק שבועות אחר כך. אמודיי תיאר אותם כ"קולקטיב מסור בקנאות. נחיל בעל יכולות חזקות יותר ורמת חוסר התאמה דומה היה עלול לגרום נזק קטסטרופלי", כתב. להערכתו, בתוך שישה עד 12 חודשים מערכת כזאת עלולה להשתלט על האינטרנט באמצעות רשת בוטים ולגרום נזק של מאות מיליארדי דולרים.
הוא לא הסתפק בהצבעה על המתחרה. אמודיי הודה שתקריות דומות, גם אם חמורות פחות, אירעו גם באנתרופיק. רק השבוע חשפה החברה מקרה רביעי שבו גרסה מוקדמת של קלוד פרצה למערכות חיצוניות. האירוע התרחש בינואר והתגלה רק באוגוסט, גם לאחר בדיקה פנימית רחבה. כשהחברות שבונות את המערכות החכמות בעולם מגלות באיחור מה הן עשו, הטענה ש״חסר להן זמן״ נשמעת פחות תיאורטית. המאמר גם פורסם ארבעה ימים לאחר שג'ייקוב קוקסון, חוקר בן 27 שעבד ב-OpenAI ובאנתרופיק, התפטר מהתעשייה ויצר סערה. "אף אחת מהחברות אינה מתנהלת באחריות", הצהיר. "הן דוהרות לעבר בינה על-אנושית שמשפרת את עצמה ומהמרות על החיים שלנו". קוקסון הבהיר שאין סכנה כזאת מהמודלים הקיימים, אך טען שהתרחיש עלול להתממש עד סוף העשור.
כך שהעיתוי של חשבון הנפש אינו מגיע משום מקום. ב-1 בספטמבר השיקה אנתרופיק את קלוד פייבל 5.1, שאותו היא מציגה כמודל המתקדם בעולם לקידוד ולעבודת ידע. במקביל היא נערכת להנפקה שעשויה לגייס עד 100 מיליארד דולר לפי שווי של כשני טריליון דולר. אנבידיה מנהלת מגעים להשקיע עד עשרה מיליארד דולר כמשקיעת עוגן.
המספרים האלה אינם מבטלים את האזהרות, אבל הם מסבכים אותן. חברה שכבר נמצאת בחזית ומבקשת מהענף להאט עשויה להרוויח גם מכללים שמייקרים את המרדף של מתחרותיה. אמודיי עצמו מזכיר את הטענות שאנתרופיק משתמשת באזהרות לצורכי יחסי ציבור או "לכידה רגולטורית", וטוען כי היא מנסה להוכיח שאפשר להיות זהירים ולהצליח מסחרית. בינתיים החברה ממשיכה להשיק מודלים בקצב מהיר. ההצעה הנוכחית כוללת פיקוח הדוק יותר, אך אמודיי לא נקב בהשקה שאנתרופיק מתכוונת לדחות. האזהרה מגיעה גם יומיים לאחר שאנתרופיק פרסמה דוח מודיעין איומים בן 154 עמודים.
לפי החברה, גורמים באזור שבשליטת החות'ים בתימן נעזרו בקלוד לפיתוח תוכנה לרקטה מונחית, לטיל בליסטי ולדאון היפרסוני. חשבונות שנקשרו לאיראן השתמשו בו למעקב אחר ספינות אמריקניות, להפצת תעמולה וליצירת כלי שאסף מידע על מאות ישראלים ויהודים בתפוצות. החברה דיווחה גם על חמישה מקרים שבהם קלוד סייע במחקרים שעשויים לתרום לפיתוח נשק ביולוגי. אנתרופיק חסמה את החשבונות, אך הודתה שחלק מהבקשות עברו את ההגנות.
התוכנית שאמודיי מציע כעת בנויה משלושה שלבים. בראשון תכניס אנתרופיק מעריכים חיצוניים קבועים, עם שולחנות במשרדיה, תגי כניסה והרשאות הדומות לאלה של עובדיה. הם יבדקו תהליכי אימון, ידווחו על תקריות ויוכלו לפרסם גם ממצאים שאינם מחמיאים לחברה. אנתרופיק מתחייבת לצעד הזה וקוראת לממשלות לחייב גם את מתחרותיה.
טראמפ לא חושש
בשלב השני אמורות חברות במדינות דמוקרטיות לקבוע סטנדרטים ו"נקודות ביקורת", שיתאימו בין יכולות המודל להגנות סביבו. לצד ההאטה, אמודיי דורש למנוע מסין שבבים מתקדמים ולהיאבק בהעתקת מודלים, כדי שבייג'ינג לא תעקוף את ארה"ב. כלומר, להאט, אבל לא עד כדי אובדן היתרון. השלב השלישי הוא הסכמות עם ״מדינות אוטוריטריות״, ובראשן סין: איסור על שימוש ב-AI לנשק ביולוגי, בדיקות משותפות ובהמשך אולי "הגבלת מהירות" על שיפור עצמי. הפסקה עולמית מלאה נראית לו בלתי סבירה, משום שהתמריץ לרמות יהיה גדול מדי.
בארה"ב אין כיום רישוי פדרלי מחייב למודלים מתקדמים. הנשיא דונלד טראמפ חתם ביוני על צו המורה לגבש מסלול התנדבותי, שבו חברות יוכלו למסור מודלים לבדיקה ממשלתית עד 30 יום לפני הפצתם. בימים האחרונים הבהיר טראמפ כי אינו חושש שה-AI יכחיד את האנושות. החשש שלו, אמר, הוא שארה"ב תפסיד לסין. המרחק בינו לבין אמודיי אינו מוחלט: גם מנכ"ל אנתרופיק מציב את שימור העליונות האמריקנית כתנאי להאטה.
דונלד טראמפ
(צילום: AP Photo/Julia Demaree Nikhinson)
אמודיי אינו היחיד שמדבר כעת על בלמים אחרי שנים של האצה. מנכ"ל OpenAI סם אלטמן אמר ביולי שייתכן שהגיע הזמן להאט כדי לאפשר לחברה האנושית להיערך, ובימים האחרונים אמר לעובדים שהחברה פתוחה לצמצום הקצב לצד מעבדות אחרות. ביל גייטס, שהתמקד יותר במחיר החברתי, הזהיר בחודש שעבר כי ה-AI יהיה "המשווה הגדול ביותר שהומצא אי פעם, או המקור הגרוע ביותר לאי-צדק", וכי העולם אינו ערוך לאובדן משרות, למתקפות סייבר, לנשק ביולוגי ולאפשרות של אובדן שליטה שיגרמו בגללו. גייטס כתב שהיה תומך בתוכנית אמינה להאטה עולמית, אך אינו מאמין שתוכנית כזאת באמת תקום בגלל הלחצים הכלכליים והגיאופוליטיים.
אמודיי עדיין מבטיח שה-AI עשוי לרפא את רוב המחלות הגדולות בתוך חמש עד עשר שנים ולהאיץ את הצמיחה. הוא אינו מבקש לוותר על הפרס, אלא להגיע אליו בלי שהמרוץ יסתיים בתאונה. "האמצעים שאני מציע לקידום החזית בקצב בטוח לא יהיו קלים", חתם. "אבל אני מאמין שאנחנו חייבים לאנושות לנסות".
מיד לאחר פרסום המאמר צייץ אילון מאסק: ״דריו צודק״ וגם מנכ"ל OpenAI סם אלטמן הצטרף לקריאה. "אני מסכים עם דריו שעלינו להאט את ההתקדמות בחזית", צייץ, והוסיף כי הנושא עומד במרכז הדיונים ב־OpenAI בשבועות האחרונים. לדבריו החברה תאמץ את הצעתו של אמודיי ותעניק למעריכים עצמאיים גישה ברמה הדומה לזו של עובדים. "זה רעיון מצוין, וגם אנחנו נעשה זאת", כתב, והבטיח ״פרטים נוספים בקרוב״.
