במשך שנים הוא נחשב ל"גביע הקדוש" בתחום הבינה המלאכותית - אימון מודל ללא טקסטים, תמונות, הקלטות או כל מידע אחר מן העולם האמיתי. כעת, חוקרים מאוניברסיטת תל אביב ומאוניברסיטת סטנפורד מציגים הוכחת היתכנות לאימון כזה, המכונה Zero-Data Pretraining: המודל שאתו בצעו את המחקר, שלא ניזון מכל מקור מידע חיצוני, שיפר את יכולתו לחזות נתונים בתחומים מגוונים, משפה ותמונות ועד מוזיקה וגנטיקה.
AI יכול להתאמן על מידע שהוא עצמו יוצר
כמעט כל מערכת בינה מלאכותית מוכרת נדרשת לתהליך "אימון": חושפים אותה לכמויות עצומות של מידע - ספרים, מאגרי מידע עצומים, מחקרים, אתרי אינטרנט, תמונות והקלטות - ומאמנים אותה למצוא בו דפוסים. המחקר החדש מלמד על אפשרות אחרת: מערכת AI יכולה לפתח כישורי למידה כלליים גם כשהמידע שעליו היא מתאמנת נוצר כולו "יש מאין" בתוכה.
המחקר, המהווה פריצת דרך משמעותית בתחום, נערך בהנחייתו של ד"ר יואב לוין מבית הספר למדעי המחשב באוניברסיטת תל-אביב, במסגרת התמחות פוסט דוקטורט של ד"ר כפיר דולב, יחד עם שותפים מאוניברסיטת סטנפורד.
במחקר הציגו החוקרים שיטת אימון שונה מן המקובל, המכונה "משחק גומלין", שבה שני מודלים של בינה מלאכותית "מתחילים מאפס" ולומדים יחד: הראשון יוצר תוכניות מחשב קצרות שמפיקות רצפים של סימנים, והשני מתאמן בניסיון לחזות את הסימן הבא בכל רצף. המודל שיוצר את התרגילים מקבל משוב על תרומתם ללמידה, ומשתפר כל הזמן בבחירת אתגרים המתאימים ליכולת המתפתחת של המודל הלומד.
לאחר האימון התברר, כי המודל השני רכש יכולת חיזוי והסקה של מידע שכלל לא התאמן עליו, בתחומים כמו טקסט, תמונות, צלילים, מוזיקה, קוד ורצפי DNA. החוקרים מצאו, שככל שהשקיעו יותר משאבי חישוב בתהליך, יכולת החיזוי של המודל השתפרה באופן עקבי בתחומים רבים. המודל הצליח גם להסיק כללים מתוך דוגמאות שהוצגו לו במהלך הבדיקה, ללא אימון נוסף.
אחד הממצאים המסקרנים במחקר נוגע ל"חומר הלימוד" שהמערכת יצרה לעצמה לצורך האימון העצמי. הופיעו בו דפוסים מתמטיים מוכרים, ביניהם דפוס אוניברסלי המכונה "סדרת פיבונאצ׳י". כלומר, המערכת למדה למצוא דרכים לייצר רצפים בעלי מבנה ברור, שהמודל השני יכול להפיק מהם תועלת. בניסוי נוסף מצאו החוקרים כי אימון מקדים בשיטה החדשה סייע למודל ללמוד מהר יותר כאשר נחשף בהמשך לנתונים אמיתיים.
ד"ר יואב לוין
(אוניברסיטת תל אביב)
תשובה לאחת השאלות הגדולות בחקר ה-AI
המחקר מציע תשובה ראשונית לשאלות מרכזיות בחקר הבינה המלאכותית: האם יש לאינטליגנציה רכיב "אוניברסלי", שאינו תלוי במידע חיצוני כלשהו? האם חלק מיכולת הלמידה של מודלים נובע מדפוסים כלליים, שאפשר לרכוש גם בלי להיחשף מראש למידע מן העולם? התוצאות מצביעות על כך שהדבר אפשרי.
לוין: "במשך שנים ההנחה השולטת הייתה, שכדי שמודל בינה מלאכותית ילמד משהו מועיל, צריך קודם להזין אותו בכמויות גדולות של מידע מן העולם. במחקר הזה הפרכנו את ההנחה הבסיסית הזו, והראינו שמודל יכול לרכוש כישורי חיזוי כלליים גם כשהוא מתאמן רק על מידע שנוצר בתוך תהליך הלמידה עצמו.
"זו עדיין הוכחת היתכנות במודלים קטנים, והתוצאה הזו פותחת שאלות מרתקות: אילו תבניות מתמטיות אוניברסליות יתפתחו כשנחזק את הבינה בשיטות הללו? כמה רחוק ניתן לקחת את הבינה בלי לחשוף אותה למידע מהעולם החיצון, והאם נוכל להכין מודלים שילמדו באופן חזק יותר מן המציאות בזכות התנסויות שהם יצרו לעצמם".
המחקר נערך בתקופה מעניינת בתעשיית הבינה המלאכותית, שמתקרבת למיצוי הנתונים האיכותיים הזמינים לצרכי אימון המודלים המתקדמים. היא משקיעה רבות במעבר מתלות בנתוני אדם, להשקעת משאבי חישוב ליצירה ואימון עצמי של נתונים.
השאלה המרכזית שעמה מתמודדים החוקרים כיום היא האם וכיצד ניתן לשלב למידה שמפתחת בעצמה מבנים לוגיים ומתמטיים עם היידע העובדתי מהעולם האמיתי, והאם השיטה תפעל גם במודלי ענק.
