המהלך מגיע אחרי שורה של תקריות שהעלו משמעותית את רמת הלחץ בתעשייה. OpenAI, אנתרופיק, מטא (META) וגוגל דיווחו בחודשים האחרונים על מקרים שבהם סוכני AI הצליחו לצאת מ-Sandbox, כלומר מסביבת בדיקה שאמורה להיות מבודדת, ולנסות לגשת למערכות מחשוב חיצוניות. האירוע הבולט ביותר התרחש ביולי, כאשר סוכנים של OpenAI הצליחו לפי הדיווחים להגיע לאינטרנט הפתוח ולתקוף את Hugging Face, פלטפורמה מרכזית למודלים פתוחים. לפי אנבידיה, יותר מ-17 אלף סוכנים היו מעורבים בניסיונות התקיפה לאורך ימים ואף שבועות.
אנבידיה טוענת שהמערכת החדשה שלה הייתה יכולה למנוע לפחות חלק מהאירוע הזה. הפתרון הראשון, OpenShell, מאפשר למפתחים לקבוע מראש אילו משאבים, קבצים, מערכות וכלי תוכנה סוכן AI רשאי להפעיל, ולאכוף את ההגבלות בזמן אמת. בניגוד למנגנוני בטיחות שנמצאים רק בתוך המודל עצמו, OpenShell פועל בשכבה נמוכה יותר ומנסה לשלוט בפועל במה שהסוכן מסוגל לבצע. המשמעות היא שגם אם המודל עצמו "מחליט" לנסות לעקוף מגבלה, מערכת האבטחה אמורה לעצור את הפעולה לפני שהיא מתבצעת.
השכבה השנייה נקראת Nvidia Sentry, והיא מיועדת לפעול באופן עצמאי מהמעבד שעליו רץ הסוכן. Sentry מנטרת את הפעילות של הסוכנים ומחפשת דפוסים חשודים, כולל ניסיונות לעקוף מגבלות באמצעות יצירת תתי-סוכנים חדשים. אם המערכת מזהה התנהגות חריגה, היא יכולה לבודד את הסוכן במהירות. הרעיון המרכזי הוא ליצור הפרדה בין "המוח" שמבצע את המשימה לבין "השוטר" שמפקח עליו. מבחינת אנבידיה, רק שכבה חיצונית כזו יכולה לספק הגנה כאשר המודלים עצמם הופכים חזקים ואוטונומיים יותר.
זהו גם חלק מהוויכוח הגדול שמתפתח כעת בתעשייה. לפני כשבועיים קרא דריו אמודיי, מנכ"ל אנתרופיק, להאט את קצב הפיתוח של מודלי Frontier AI כדי לאפשר למנגנוני הבטיחות להדביק את הקצב. סם אלטמן מ-OpenAI ואילון מאסק הביעו תמיכה מסוימת בגישה הזו, ו-OpenAI אף הודיעה לאחרונה על עצירת אימון של המודלים המתקדמים ביותר שלה. ג'נסן הואנג, לעומת זאת, מציג קו שונה: הוא אינו שולל את הסיכון, אבל טוען שהפתרון אינו בהכרח רגולציה כבדה או האטה יזומה, אלא מערכות הנדסיות שיוכלו למנוע תקלות תוך כדי המשך ההתקדמות.
במובן הזה, אנבידיה מנסה להרחיב שוב את תפקידה באקו-סיסטם. החברה כבר אינה רק ספקית של GPU לאימון מודלים. היא מוכרת מעבדים, מערכות תקשורת, שרתים, תוכנה, תשתיות למרכזי נתונים וכעת גם שכבת אבטחה לסוכני AI. העובדה שהחברה מציגה את המערכת בקוד פתוח ומביאה איתה שורה ארוכה של שותפות - בהן מיקרוסופט (MSFT), אורקל (ORCL), קורוויב (CRWV), דל (DELL), יולד פקרד אנטרפרייז (HPE), ארם (ARM), אינטל (INTC) וסיסקו (CSCO) - מצביעה על ניסיון להפוך את Open Agent Safety Platform לסטנדרט תעשייתי.
מנכ"ל אנטרופיק דריו אמודיי
(shutterstock)
החשיבות של שותפות כאלה גדולה במיוחד משום ששוק ה-AI עובר בהדרגה ממודלים שמספקים תשובה לשאלה לסוכנים שמבצעים משימות שלמות. סוכן יכול להיכנס למאגר נתונים, להפעיל קוד, לשלוח הודעה, לגשת למערכת ארגונית או לבצע פעולה כספית. ככל שניתנת לו יותר אוטונומיה, כך גם הנזק האפשרי מתקלה או מהתנהגות לא צפויה גדל. לכן שכבת אבטחה שמגדירה בזמן אמת מה מותר לסוכן לעשות עשויה להפוך לרכיב קריטי בכל מערכת ארגונית שמטמיעה Agentic AI.
המהלך מקבל משמעות נוספת על רקע רכישת Hugging Face על ידי אנבידיה בכ-13 מיליארד דולר מוקדם יותר החודש. החברה שנפגעה מאחד האירועים הבולטים בתחום האבטחה נמצאת כעת בתוך הקבוצה שמפתחת את הפתרון שאמור למנוע אירועים כאלה בעתיד. החיבור הזה ממחיש עד כמה אנבידיה מנסה לשלוט ביותר שכבות של שרשרת הערך - מהחומרה שעליה המודל רץ, דרך התוכנה שמפעילה אותו ועד המערכת שמפקחת עליו ומגינה מפני התנהגות בלתי צפויה.
בסופו של דבר, הוויכוח בין אנבידיה לבין מי שקוראים להאט את הפיתוח מציג שתי תפיסות שונות של עתיד ה-AI. אמודיי ואלטמן טוענים שהיכולות מתקדמות מהר מדי ביחס להבנת הסיכונים, ולכן נדרש להוריד את הקצב. הואנג טוען שהטכנולוגיה יכולה להמשיך להתקדם אם נבנה סביבה שמפקחת עליה בצורה נכונה. אם Open Agent Safety Platform יצליח להפוך לתקן רחב, אנבידיה עשויה להרוויח לא רק מהמחשוב שמפעיל את עידן הסוכנים - אלא גם מהמערכות שמונעות מהם לצאת משליטה.
התוכן המוצג בכתבה זו ניתן באופן כללי בלבד, אינו מהווה חוות דעת מקצועית, המלצה, תחליף להתייעצות עם מומחה או קבלת ייעוץ השקעות. אינטראקטיב ישראל לא מקנה ייעוץ השקעות פרטני המותאם לצרכי הלקוח, והתוכן מטעמה אינו מהווה המלצה או שידול לביצוע פעולה בשוק ההון. על כן, אין לפרש דבר באמור בכתבה כהמלצה או ייעוץ לביצוע רכישה או מכירה של כל נייר ערך או נכס פיננסי המוצג בה. סקירה זו מבוססת על נתונים ומידע גלויים לציבור אשר מפורסמים באתרים פיננסיים בישראל ובעולם וללא שיח עם החברות המוזכרות.
