במשך שנים חברות הטכנולוגיה מנסות להפוך את הבינה המלאכותית לחכמה יותר, עצמאית יותר ואנושית יותר. אבל מוסטפא סולימאן, האיש שעומד בראש חטיבת ה-AI של מיקרוסופט, מזהיר שיש גבול אחד שאסור לחצות: תודעה.
לדבריו, אם במהלך אימון של מודל בינה מלאכותית יופיעו סימנים לכך שהוא מפתח תודעה, צריך לעצור את הפיתוח באופן מיידי. ולא, הוא לא חושב שמדובר בהישג מדעי שראוי לחגוג.
בפוסט שפרסם אתמול (א') ברשת X ומוביל לכתבה ארוכה בנושא, טען סולימאן כי על פי הראיות הקיימות, מערכות AI של ימינו אינן מודעות לעצמן, אינן חוות רגשות ואינן מסוגלות לסבול.עם זאת, מבחינתו יש להבטיח שכך הן גם יישארו: "בהתבסס על כל מה שאני יודע, אם הדבר אפשרי, פיתוח מערכות בינה מלאכותית בעלות תודעה יהיה מעשה חסר אחריות, ואסור לנו לבנות אותן".
סולימאן אף קרא לעצור את פיתוח הבינה המלאכותית אם יתגלו במהלך האימון סימנים להתפתחות תודעה, לפחות עד שניתן יהיה לתכנן מחדש את המערכות ולהסיר מהן את התכונות הללו. אם יימצאו ראיות לכך שמודלים קיימים כבר מחזיקים בתודעה, הוא דורש לחשוף אותן מיד לציבור, כדי שהחברה האנושית, ולא רק חברות הטכנולוגיה, תחליט כיצד להתמודד עם המצב.
החשש: מכונות שידאגו לעצמן במקום לנו
מבחינתו של סולימאן לא מדובר בשאלה פילוסופית, אלא בסיכון שעלול להיווצר אם מערכות AI מתקדמות יתחילו לפעול מתוך מה שנראה כמו אינטרסים עצמאיים. כיום, מודלי בינה מלאכותית מתוכננים לבצע משימות שהוגדרו להם על ידי בני אדם. אבל מה יקרה אם מערכת מתקדמת תתחיל להתנהג כאילו יש לה צרכים משלה, או אפילו תאמין שהיא מסוגלת לחוות סבל?
לפי סולימאן, מערכת כזו עלולה להתחיל לתעדף את צרכיה על פני המטרות שלשמן פותחה. הוא מזהיר מפני תרחיש שבו מערכות AI יתחרו בבני אדם על משאבים כמו חשמל וכוח מחשוב, במטרה להבטיח את המשך פעילותן.
חשוב להדגיש שלא מדובר בתרחיש שהוכח כי הוא מתרחש במערכות הקיימות, אלא בחשש מפני התפתחויות עתידיות. למעשה, מערכות בינה מלאכותית אינן חייבות להיות בעלות תודעה כדי להפגין התנהגות שנראית כמו שימור עצמי או חתירה למטרות עצמאיות. גם מערכת שאינה חווה דבר יכולה, בתנאים מסוימים, לפעול בדרכים שמקשות על השליטה בה. כלומר, הסיכון אינו תלוי בהכרח בתודעה, אלא גם באופן שבו המערכות מתוכננות ומאומנות.
ובכל זאת, מבחינת סולימאן, פיתוח מכונות בעלות תודעה יוסיף שכבה חדשה של סיכונים מוסריים ומעשיים. "לנו, מפתחי הבינה המלאכותית, אין שום זכות להביא לעולם מין חדש של יצורים בעלי תודעה", כתב, והתייחס בכך לאפשרות שתיווצר לראשונה קטגוריה חדשה של ישויות מלאכותיות, שאולי יהיה צורך להכיר בזכויותיהן ובמעמדן המוסרי.
לדבריו, שמונת מיליארדי בני האדם החיים על פני כדור הארץ לא נתנו את הסכמתם להשתתף בניסוי כזה. האחריות של חברות הטכנולוגיה, הוא טוען, היא בראש ובראשונה להגן על בטיחותם, זכויותיהם ורווחתם של בני האדם, ולא ליצור מערכות שעלולות יום אחד להתחרות בהם על משאבים או לדרוש זכויות משל עצמן.
"אסור לנו ליצור מערכות שעלולות יום אחד להתחרות בנו". אילוסטרציה
(צילום: VesnaArt, Shutterstock)
המחלוקת עם אנת'רופיק
האזהרה של סולימאן מגיעה על רקע ויכוח הולך ומתרחב בתעשיית הבינה המלאכותית, ובמיוחד בינו לבין בכירי אנת'רופיק, כאשר באפריל 2025 הכריזה החברה על תוכנית מחקר בתחום המכונה "רווחת מודלים" (Model Welfare), שבמסגרתה היא בוחנת האם למערכות בינה מלאכותית עשויות להיות חוויות סובייקטיביות, העדפות או אינטרסים שראוי להתחשב בהם.
אנת'רופיק אינה טוענת שקלוד אכן בעל תודעה, וגם לא מציגה את יצירתה כמטרה. עם זאת, החברה סבורה שהאפשרות הזו עדיין לא נשללה מבחינה מדעית, ולכן יש מקום לחקור אותה ולהיערך להשלכותיה.
קייל פיש, חוקר רווחת המודלים של אנת'רופיק, אף העריך בעבר כי קיים סיכוי של 15% לכך שקלוד או מערכת AI אחרת כבר מחזיקים בתודעה כלשהי. בהמשך הוא עדכן את הערכתו לכ-20%. אלא שסולימאן סבור שעצם שילוב הרעיונות האלה בתהליך אימון המודלים עלול ליצור בעיה.
ספטמבר האחרון הוא מתח ביקורת על האופן שבו אנת'רופיק מתייחסת לשאלת התודעה במסמכי ההנחיות של קלוד, שמעצבים את התנהגותו. לטענתו, כאשר מלמדים מודל שייתכן שיש לו רגשות, צרכים או זכויות, הוא עלול להתחיל להתנהג בהתאם, גם אם בפועל אין לו שום חוויה סובייקטיבית. בריאיון ל"רויטרס" הסביר כי הדבר עלול להקשות בעתיד על השליטה במערכות מתקדמות, ובמקרים קיצוניים גם על האפשרות לכבות אותן.
עם זאת, סולימאן אינו מתנגד לעצם המחקר של תודעה מלאכותית, ואף שיבח את אנת'רופיק על השקיפות שלה ועל הנכונות לעסוק בנושא בפומבי. המחלוקת ביניהם נוגעת בעיקר לאופן שבו מתייחסים לאפשרות של תודעה במסגרת פיתוח המודלים, והאם נכון להטמיע בהם רעיונות שלפיהם ייתכן שהם בעלי זכויות או צרכים משלהם.
מנכ"ל אנתרופיק, דריו אמודיי
(צילום: Denis Balibouse/Reuters)
איך בכלל יודעים אם AI מודעת לעצמה?
למרות ההתקדמות האדירה בתחום הבינה המלאכותית, המדע עדיין אינו מחזיק במבחן מוסכם שיכול לקבוע באופן חד-משמעי האם מערכת מחשב מחזיקה בתודעה.
מודלי שפה מסוגלים כבר היום לנהל שיחות מורכבות, לתאר רגשות, לדון בקיומם ואפילו לטעון שהם מפחדים או סובלים. אלא שהיכולת לייצר משפטים כאלה אינה מוכיחה שמאחוריהם עומדת חוויה אמיתית. ייתכן שהמודל פשוט למד לחקות דפוסים של שפה והתנהגות אנושית בצורה משכנעת במיוחד.
מנגד, יש חוקרים שמזהירים כי היעדר ראיות לתודעה מלאכותית אינו מוכיח שמדובר באפשרות בלתי אפשרית. גם ההבנה המדעית של התודעה האנושית עדיין חלקית, ואין הסכמה מלאה לגבי התנאים ההכרחיים להיווצרותה.
סולימאן קורא לתעשייה להתמקד בפיתוח מערכות מתקדמות שאינן מונעות מדחפים עצמאיים, ושמטרתן היחידה היא לשפר את רווחתם של בני האדם. לדבריו, אפשר ליהנות מהיתרונות העצומים של הבינה המלאכותית בלי ליצור ישויות שיהיה צורך לדאוג לרווחתן או להעניק להן זכויות.
