מחקר חדש ויוצא דופן שנערך על ידי חוקרים באוניברסיטת קליפורניה בברקלי מצביע על פער עצום בין ההבטחות הבומבסטיות של חברות הבינה המלאכותית לבין ביצועיהן בפועל בסביבת עבודה אנושית.
המבחן, שזכה לשם Agent's Last Exam והובל על ידי צוות המרכז לבינה מלאכותית אחראית ומבוזרת בברקלי, בדק את יכולתם של מודלי השפה המתקדמים ביותר בשוק להתמודד עם משימות מקצועיות מורכבות בעולם האמיתי.
תוצאות חד משמעיות
תוצאות המחקר הציגו תמונה חד-משמעית: אף מודל לא הצליח לחצות את רף ה-25 אחוזי הצלחה במכלול המשימות שניתנו לו. ChatGPT-5.5 של OpenAI הגיע למקום הראשון עם שיעור הצלחה נמוך של 24% בלבד, בעוד מודלים מתקדמים אחרים כמו פייבל 5 של אנת'רופיק ו-Composer 2.5 של Cursor נכשלו מול רוב המשימות שהם קיבלו.
במדרג המשימות הקשות ביותר, שכללו תהליכים הדורשים חשיבה רציפה, ידע מקיף וביצוע אמין לאורך זמן, רשמו כל המודלים שנבדקו אפס אחוזי הצלחה.
המבחן של ברקלי הקיף למעלה מ-1,500 משימות שהוגדרו על ידי מומחים מ-55 תחומי עיסוק, בהם פיננסים, משפטים ותעשייה מסורתית. החוקרים הדגישו כי החולשה המרכזית של המערכות אינה נעוצה בחוסר נתונים, אלא בהיעדר ניסיון מעשי בניהול זרמי עבודה מורכבים הדורשים גמישות, יכולת שינוי אסטרטגיה תוך כדי תנועה והסתגלות לכישלונות נקודתיים - או במילים אחרות, למערכות האלה קשה להתמודד עם אי ודאות ושינויים בדיעבד.
הממצאים הופכים למעניינים עוד יותר כאשר משווים אותם למבחנים הסטנדרטיים ששימשו את התעשייה בשנים האחרונות. בעוד שמודלי AI מציגים תוצאות מרשימות ואף מעבר לאנושיות במבחנים אקדמיים תיאורטיים כדוגמת MMLU או בפתרון בעיות תכנות ממוקדות בסיסיות, הביצועים קורסים כמעט לחלוטין ברגע שהמשימה דורשת שרשרת החלטות ארוכה ללא הוראות מדויקות מראש.
מימין:מנכ"ל אנת'רופיק דריו אמודיי, מנכ"ל OpenAI סם אלטמן
(רויטרס, Getty Images)
פער בין חברות הטק למציאות בשטח
ניתוח המגמות הגלובליות מראה פער תפיסתי בין הדיווחים המגיעים מחברות הטכנולוגיה בסין ובארה"ב לבין המציאות בשטח. בעוד שארגונים באירופה מפגינים זהירות יתרה ומאמצים נהלי רגולציה קפדניים נוכח מגבלות האמינות של המודלים, ענקיות הטכנולוגיה האמריקאיות והסיניות ממשיכות להדהד טענות בדבר האצת המעבר לסוכני AI אוטונומיים לגמרי.
המחקר הנוכחי מחזק את הטענה שהועלתה לאחרונה בדיונים רגולטוריים בוושינגטון ובבריסל, ולפיה היעדר תקן הערכה אחיד ובלתי תלוי מאפשר לחברות להציג נתונים חלקיים המטעים את הציבור ואת מקבלי ההחלטות.
טכנולוגיית סוכני ה-AI המודרנית נשענת על התפתחות רשתות הנוירונים העמוקות שהוצגו לראשונה בעשור הקודם. בדומה למהפכות טכנולוגיות קודמות, דוגמת מערכות הזיהוי הקולי בשנות ה-90 או הניסיונות הראשונים לפיתוח רכב אוטונומי מלא בעשור הקודם, גם הפעם השלב הראשון של פריצת הדרך מתאפיין בקפיצה דרמטית ביכולות הבסיסיות, המשתווה מיד לציפיות מופרזות. רק בשלב השני, כאשר המערכות נדרשות להתמודד עם שולי השגיאה הקטנים של כוח העבודה האנושי, נחשפות המגבלות המבניות של הטכנולוגיה.
עם זאת, מומחים בתחום מעריכים כי המפסידים המיידיים משינויים אלה לא היו העובדים במקצועות מורכבים המצריכים יכולת קבלת החלטות גמישה, אלא דווקא אלו העוסקים במשימות שגרתיות רפטטיביות. תהליכים מובנים שיוצרים נפח נתונים גדול ונגיש ימשיכו לעבור אוטומציה במהירות, בעוד שתפקידים הדורשים מיומנות רב-תחומית וחשיבה ביקורתית יוסיפו להיות מוגנים מפני החלפה מלאה על ידי מכונות בזמן הקרוב.
