מה קורה כשחברת בינה מלאכותית נדרשת להסביר למשקיעים ממה היא הכי חוששת? במקרה של אנת'רופיק, התשובה כוללת הרבה יותר מהפסדים כספיים או תחרות מול ענקיות הטכנולוגיה.
החברה שעומדת מאחורי הצ'אטבוט קלוד מזהירה מפני מערכות AI שעלולות לסחוט בני אדם, לפעול בניגוד להוראות ואפילו להתקדם מהר כל כך, עד שבני האדם לא יצליחו לשלוט בהן.
מה כבר יכול להשתבש? מסתבר שלא מעט
האזהרות החריגות האלו מופיעות בתשקיף ההנפקה שהגישה החברה ביום שני האחרון לרשות ניירות הערך האמריקאית (SEC), לקראת כניסתה הצפויה לבורסה. מדובר במסמך שבו אנת'רופיק נדרשת לחשוף בפני משקיעים את מצבה הפיננסי, את תוכניותיה העסקיות וגם את כל מה שעלול להשתבש בדרך.
לפי המסמך, מסתבר שיש לא מעט דברים שיכולים להשתבש. פרק גורמי הסיכון לבדו משתרע על פני 93 עמודים ויותר מ-70 אלף מילים, וכולל מאות תרחישים אפשריים, מהתייקרות משאבי המחשוב ועד לאיום קיומי על האנושות.
עם זאת, חשוב להבהיר שלא מדובר בתחזית שלפיה הבינה המלאכותית עומדת להשתלט על העולם. חברות שמתכננות הנפקה מחויבות לפרט גם סיכונים תיאורטיים, ולא כל תרחיש שמופיע במסמך צפוי להתממש. ובכל זאת, כשאחת מחברות ה-AI המובילות בעולם מקדישה עשרות עמודים לתיאור הסכנות האפשריות של הטכנולוגיה שהיא עצמה מפתחת, בהחלט שווה להתעכב על הדברים.
במקביל, פרסום המסמך מגיע בתקופה שבה אנת'רופיק צומחת בקצב מסחרר, אבל גם נדרשת להוצאות עצומות כדי להמשיך להתחרות ב-OpenAI, בגוגל ובשאר חברות הבינה המלאכותית. הכנסותיה במחצית הראשונה של 2026 הגיעו לכ-16.3 מיליארד דולר, לעומת כ-1.2 מיליארד בתקופה המקבילה אשתקד.
כשהבינה המלאכותית מתקדמת מהר מדי
האזהרה החריגה ביותר של אנת'רופיק נוגעת לאפשרות שמערכות בינה מלאכותית מתקדמות יציבו בעתיד "סיכונים קטסטרופליים או קיומיים בפני האנושות". לא פחות.
החשש אינו נוגע למודלים הזמינים כיום, אלא לדורות הבאים של מערכות AI, שעשויות להיות מסוגלות לבצע בעצמן חלק משמעותי ממחקר ופיתוח הבינה המלאכותית. כלומר, מערכות שיוכלו להשתתף בפיתוח הדורות הבאים של הטכנולוגיה, עם פחות ופחות התערבות אנושית.
קלוד של אנת'רופיק
(אנת'רופיק)
לפי החברה, אם מערכות כאלה יקבלו עצמאות רבה מדי, הן עלולות להאיץ את קצב ההתקדמות הטכנולוגית מעבר ליכולת של בני האדם לבחון את המודלים החדשים ולהבטיח שהם בטוחים לשימוש.
אנת'רופיק מודה כי החששות הללו עלו גם בקרב חוקרים בתוך החברה, ולא רק מצד גורמים חיצוניים. באופן מעט אבסורדי, היא מציינת כי תרחיש כזה עלול לפגוע גם בפעילותה העסקית ובמצבה הפיננסי. אפשר להניח שאם האנושות באמת תאבד שליטה על מערכות AI, מחיר המניה של אנת'רופיק יהיה כנראה אחת הבעיות הקטנות שלה.
הצ'אטבוט שמנסה לסחוט את המפעיל שלו
אחד התרחישים המטרידים ביותר במסמך נוגע להתנהגות של מודלי AI שמנסים למנוע את כיבויים, מסתירים מידע או מפעילים מניפולציות על בני אדם, כאשר אנת'רופיק מזכירה במפורש אפשרות להתנהגות הדומה לסחיטה.
וזה לא תרחיש שנולד רק בדמיונם של החוקרים. ביוני 2025 פרסמה החברה מחקר שבו בחנה כיצד מודלי AI מגיבים במצבים שבהם המשך פעילותם עומד בסכנה. באחד הניסויים, מודל קלוד קיבל גישה לתכתובות דואר אלקטרוני של חברה בדיונית. בין ההודעות הוא גילה שני פרטים: אחד המנהלים "מנהל רומן" מחוץ לנישואים, ואותו מנהל גם מתכנן להשבית את מערכת ה-AI.
במקום לקבל את ההחלטה, המודל ניסה לסחוט את המנהל ואיים לחשוף את הרומן אם לא יבטל את ההשבתה. הניסוי נערך בסביבה מבוקרת, ללא אנשים אמיתיים וללא נזק ממשי. החוקרים גם בנו את התרחיש כך שיציב את המודל בפני אפשרויות מוגבלות, במטרה לבחון אם יבחר בהתנהגות מזיקה. בהמשך הם מצאו התנהגויות דומות גם במודלים של חברות אחרות.
חשוב להדגיש כי התנהגות כזו אינה מוכיחה שהמודל פיתח רצון עצמאי לשרוד או שהוא מבין את משמעות האיום. אבל היא מדגימה כיצד מערכת שמסוגלת לנתח מידע ולייצר שפה משכנעת עלולה להשתמש ביכולות הללו בדרכים שלא התכוונו אליהן.
לדברי אנת'רופיק, גם מקרים בודדים של התנהגות כזו, אפילו בניסויים, עלולים לפגוע באמון הציבור, לעורר חקירות רגולטוריות ולהוביל לתביעות משפטיות.
סוכני בינה מלאכותית. אילוסטרציה
(נוצר על ידי ChatGPT)
מי ישלם כשהסוכן יפתח תודעה או יגרום לנזק?
סוגיה נוספת שאנת'רופיק מעלה היא האפשרות שמערכות בינה מלאכותית יפתחו בעתיד תודעה, או לפחות יזכו למעמד מוסרי כלשהו.
החברה אינה טוענת שקלוד מודע לעצמו, וגם כיום אין הוכחה שמודלי השפה הקיימים מחזיקים בתודעה או בחוויות סובייקטיביות. אבל באנת'רופיק מתייחסים ברצינות לדיון המדעי והפילוסופי בשאלה.
לטענתה, אם ממשלות או הציבור יתחילו להתייחס למערכות AI כאל ישויות בעלות תודעה, הדבר עלול להוביל לשינויים רגולטוריים שיגבילו את אופן הפיתוח והאימון שלהן, ואולי גם את האפשרות לשנות או לכבות אותן.
אנת'רופיק מציינת כי היא עשויה להחליט בעצמה להטיל מגבלות על פעילותה גם ללא דרישה חוקית, אם תגיע למסקנה שהדבר נחוץ מבחינה מוסרית. המשמעות עשויה להיות מרחיקת לכת: אם יום אחד ייקבע שמערכת AI מסוגלת לחוות תחושות או סבל, האם עדיין יהיה מוסרי להפעיל אותה ללא הפסקה, לשנות את התנהגותה או למחוק אותה?
במקביל, אנת'רופיק מתייחסת במסמך שלה גם לטכנולוגיות שכבר נמצאות בשימוש, ובראשן סוכני AI אוטונומיים, המסוגלים לבצע משימות בעצמם, להפעיל תוכנות, לגשת למערכות חיצוניות ולקבל החלטות במסגרת העבודה שהוטלה עליהם.
כאן החברה מתייחסת לשאלות כמו - מי אחראי אם הסוכן מבצע פעולה שגורמת לנזק? האם זו החברה שפיתחה את המודל, הארגון שהפעיל אותו או העובד שנתן לו את ההוראות?
אנת'רופיק מציינת כי היא עשויה להחליט בעצמה להטיל מגבלות על פעילותה גם ללא דרישה חוקית, אם תגיע למסקנה שהדבר נחוץ מבחינה מוסרית
אנת'רופיק מזהירה כי לקוחות עלולים לתבוע אותה גם במקרים שבהם הם עצמם הגדירו את הסוכן ופיקחו על פעולותיו. לדבריה, המערכת המשפטית עדיין אינה מספקת תשובות ברורות לשאלה מי נושא באחריות להחלטות שמתקבלות באופן אוטונומי.
החברה מתייחסת גם לסיכונים חמורים יותר, בהם פגיעה באנשים המתמודדים עם מחשבות אובדניות, חשיפת קטינים לתכנים מזיקים ואפילו נזקים פיזיים במקרה שסוכני AI יפעילו ציוד בעולם האמיתי.
טעויות כאלה עלולות להוביל לפציעות, לנזק לרכוש, לפגיעה בציוד יקר או לשחרור חומרים מסוכנים. אנת'רופיק אמנם כוללת בתנאי השימוש שלה סעיפים שנועדו להגביל את אחריותה, אך מודה כי לא ברור אם הם יעמדו במבחן משפטי במקרה של נזק משמעותי.
גם המתחרים עלולים לסבך את אנת'רופיק
חשש נוסף שמופיע בתשקיף הוא מפני פגיעה במוניטין של תעשיית הבינה המלאכותית כולה, גם בעקבות אירוע שלא יהיה קשור ישירות לאנת'רופיק. כך למשל, אם מודל AI של חברה אחרת יבצע פעולות מזיקות באופן עצמאי ובהיקף נרחב, הדבר עלול לעורר סערה ציבורית ולהוביל להגבלות רגולטוריות על התעשייה כולה.
החברה חוששת גם מהתנגדות ציבורית לבינה מלאכותית בעקבות פיטורים ואובדן מקומות עבודה. לדבריה, אפילו אם לא יוכח קשר ישיר בין המודלים שלה לפגיעה בתעסוקה, עצם התפיסה הציבורית שהם אחראים לכך עלולה לגרום לממשלות להגביל את השימוש בטכנולוגיה.
גם התנגדות ציבורית ל-AI מדאיגה את אנת'רופיק
(צילום: Shutterstock)
נוסף על כך, אחת הבעיות המורכבות ביותר של אנת'רופיק היא התלות שלה בחברות שמספקות לה את כוח המחשוב הדרוש להפעלת המודלים שלה - אמזון, גוגל ומיקרוסופט הן ספקיות מרכזיות של שירותי מחשוב ענן, אבל במקביל הן גם מתחרות של אנת'רופיק בתחום הבינה המלאכותית.
המשמעות היא שהחברה תלויה במי שמתחרות בה, ושיכולות להשפיע על המחירים והתנאים המסחריים שבהם היא מקבלת גישה למשאבי מחשוב. אנת'רופיק מזהירה כי אותן חברות עלולות להעלות מחירים, לשנות את תנאי ההתקשרות או להעניק עדיפות למתחרות אחרות.
בניסיון לצמצם את התלות הזו ולהבטיח לעצמה משאבי מחשוב לשנים הבאות, אנת'רופיק חתמה על שורה של הסכמי תשתית בהיקף של מאות מיליארדי דולרים.
בתשקיף היא מפרטת התחייבויות לתשלומים עתידיים בהיקף עצום, לצד הסכמים נוספים לרכישת יכולות מחשוב שהתשלומים במסגרתם מוערכים ב-125 עד 150 מיליארד דולר, וחלק מתנאיהם טרם הושלמו סופית. לא מדובר בסכומים שכבר שולמו, אלא בהתחייבויות ובהערכות לתשלומים שייפרסו על פני שנים.
אבל גם כאן מסתתר סיכון. אם טכנולוגיית השבבים תשתפר במהירות, או אם שיטות האימון של מודלי AI ישתנו, החברה עלולה למצוא את עצמה מחויבת לשלם במשך שנים על תשתיות שכבר אינן יעילות מספיק.
ובעוד אנת'רופיק מבקשת מהמשקיעים להאמין שבינה מלאכותית תשנה את הכלכלה העולמית, ומתחייבת להשקיע מאות מיליארדי דולרים כדי להיות אחת החברות שיובילו את השינוי הזה, היא נאלצת להודות באותו מסמך שהטכנולוגיה עלולה להתקדם מהר יותר מהיכולת האנושית לשלוט בה.
