עט מאוד המצאות או פיתוחים טכנולוגיים יצרו אימפקט עולמי כה דרמטי וכה מהיר כמו השקת ChatGPT לפני שנתיים על ידי חברת OpenAI. היא פתחה מרוץ מטורף בין ענקיות הטכנולוגיה לפיתוח יכולות בינה מלאכותית יוצרת ושילובה במוצריהן ומסמנת שינוי דרמטי בדרך שבה כולנו צורכים או יוצרים כמעט בכל תחום.
צ'אטבוטים של בינה מלאכותית פועלים על טכנולוגיה בסיסית המכונה "מודל שפה גדול", LLM. נכון להיום, רוב המשתמשים מכירים את OpenAI, החברה ששוויה הוערך לא מכבר ב-157 מיליארד דולר, הודות לגרסאות מודל GPT 3.5 ו-GPT 4, המשולבות בין היתר בצ'אטבוט ChatGPT, בכלים עסקיים ועוד. אבל עיני העולם כולו נשואות כבר יותר משנה לגרסה המתוכננת הבאה, GPT 5 (המכונה בחברה גם בשם הקוד "אוריון"), שמבוששת לבוא, אף שההבטחה המקורית של החברה הייתה כי תושק כבר במחצית 2024.
כמו רקטה שהתפוצצה
מנכ"ל OpenAI, סם אלטמן, התבטא פעמים רבות על התכונות המופלאות שתציע GPT 5. היא תהיה, לדבריו, "קפיצת מדרגה משמעותית" במשימות רבות: בזכות יכולת הסקה הגיונית עמוקה יותר, היא תסייע לתגליות מדעיות חדשות, ותדע גם לבצע לבדה משימות כמו הזמנת פגישות או טיסות. החוקרים מדברים גם על פחות טעויות מהמוכר במודלים הקיימים, שסובלים עדיין מ"הזיות". בכיר לשעבר ב-OpenAI אמר ל"וול סטריט ג'ורנל", כי אם אפשר להשוות את GPT 4 לתלמיד תיכון חכם, אז GPT 5 יהיה כבר דוקטור. לפי ראיונות שנתן אלטמן עצמו, ניתן לקבוע "ברמה גבוהה של ודאות מדעית" כי GPT 5 יהיה "הרבה יותר חכם" מאשר המודל הנוכחי.
הבעיה היא שלפי כל הסימנים והשמועות הדולפות מהחברה — פרויקט הפיתוח של GPT 5 תקוע למדי: הוא מפגר בלוח הזמנים ובמקביל צורך סכומי עתק של מאות מיליוני דולרים. יודעי דבר טוענים כי העלויות הגדלות והולכות מצננות גם את היחסים בין OpenAI לבין המשקיעה הכי גדולה שלה, מיקרוסופט. על פי כתב העת The Information נראה בינתיים כי GPT 5 לא יהווה קפיצת מדרגה גדולה כמו קודמיו. מומחים שכבר בדקו אותו מדווחים כי למרות שביצועיו עולים על המודלים הקיימים, השיפור נמוך יותר מזה שראינו במעבר מגרסאות GPT 3 ל-GPT 4.
מודלי AI נבחנים במהלך "ריצות אימון" — תקופה ממושכת, שיכולה להימשך מספר חודשים, ובמהלכה מוזנות אליהם כמויות עצומות של נתונים, בסיוע עשרות אלפי שבבי מחשב יקרים, בהוצאות חשמל ותחזוקה אדירות. אימון של שישה חודשים יכול לעלות כחצי מיליארד דולר. OpenAI ביצעה לפחות שתי ריצות אימון יקרות כאלו למודל המשופר, אבל בשתיהן התוכנה לא הגיעה לתוצאות שהחוקרים קיוו להן. ה"ניו יורק טיימס" מדמה ריצת אימונים כושלת כזו לרקטת חלל שמתפוצצת בשמיים זמן קצר לאחר השיגור. GPT 4 אומנה כבר על כל המידע הזמין באינטרנט — חדשות, פוסטים ברשתות החברתיות ומאמרים מדעיים; OpenAI, טוענים המומחים, חייבת למצוא עכשיו מקורות חדשים לאימון המערכת, איכותיים ואמינים יותר, בעיקר מתוך ספרים, פרסומים אקדמיים וכדומה.
כדי להתמודד עם הבעיה, החברה אכן פונה לאינספור חברות וארגונים בבקשה לקבל את רשותם (בתשלום כמובן) להשתמש בטקסטים שאינם זמינים ברשת. במקביל היא הקימה צוות שמנסה להבין כיצד ניתן לשפר בכל זאת את המודלים גם בלי קשר לנתונים הנוספים. בין האסטרטגיות שנבחנות — אימון על נתונים "סינתטיים" שנוצרו בעצמם על ידי בינה מלאכותית, וגם ניסיון לשפר את המודלים באמצעות תוכנה. OpenAI שוכרת מהנדסי תוכנה ומתמטיקאים, שיספקו "הסברים לעומק" לתהליכים חישוביים שיהיו ברורים לא רק לאנשים, אלא גם למודלי AI, וש"אוריון" תוכל ללמוד מהם.
חוששים מדליפות
במקביל החברה נאבקת בניסיונות של יריבותיה לצוד את החוקרים המובילים שלה: יותר מ-24 מנהלים בכירים, חוקרים ועובדים ותיקים עזבו את OpenAI השנה, כולל המייסד-שותף והמדען הראשי איליה סוצקבר וסמנכ"לית הטכנולוגיה מירה מוראטי. לא מכבר הודיע גם אלק רדפורד, חוקר מוערך ומחבר כמה מהמאמרים המדעיים של OpenAI, על עזיבתו לאחר כשמונה שנים בחברה. התחרות בין מעבדות הבינה המלאכותית גדלה עד כדי כך שחברות הטכנולוגיה הגדולות כמעט נמנעות מלפרסם מאמרים על ממצאים אחרונים או פריצות דרך. יש חוקרים שהפסיקו לעבוד בטיסות, בבתי קפה, ובמקומות שבהם מישהו יכול להציץ במסכי המחשב שלהם מעבר לכתפם.
OpenAI היא לא החברה היחידה שנתקלת בקושי בניסיונות להתקדם לשלב הבא ב-AI. ברחבי התעשייה מתנהל ויכוח אם השיפור הקבוע וההדרגתי שהורגלנו אליו בתחום מתחיל להתייצב. איליה סוצקבר, שייסד לאחרונה חברת בינה מלאכותית חדשה (עם שלוחה בישראל), הכריז בכנס AI שנערך לאחרונה כי עידן מִקסום הנתונים הסתיים. "הנתונים לא גדלים כי יש לנו רק אינטרנט אחד", אמר.
בלית ברירה, OpenAI מתרכזת כרגע בניסיון לבנות "מודל חשיבה" מתקדם ויעיל יותר למודל שלה, בשילוב עם השיטה הישנה של אימון במידע נוסף. בשלב הזה לא ברור מתי, ואם בכלל, כל זה יתגבש לכדי גרסת GPT חדשה. ¿
