מפתחת הבינה המלאכותית הסינית Moonshot הודיעה בימים האחרונים כי היא מבצעת תחקיר פנימי בתוך החברה לאחר שחוקרי אבטחת מידע וסייבר הצליחו לשכנע שניים מהדגמים הפופולריים שלה ללמד אותם לייצר נשק ביולוגי.
פלטפורמת אבטחת המידע והסייבר "מיינדגארד" (Mindgard), המתמקדת בהגנה על מערכות בינה מלאכותית, גילתה במהלך חודש יולי האחרון, כי המודלים Kimi K2.6 ו-K3 Swarm של "מונשוט" יכולים לעקוף מגבלות בטיחות שהטילו המפתחים.
לפי מיינדגארד, שחוקריה פועלים מאוניברסיטת לנקסטר בבריטניה, מדובר בפעולה המכונה בשפה המקצועית jailbreaking, שבה נעשה שימוש בסדרת הוראות מורכבות כדי לבדוק אם כלי בינה מלאכותית יכולים להתגבר על מחסומי בטיחות ואבטחה שהוגדרו להם.
אף שמדובר בתהליכים מורכבים, המומחים בוחנים בעזרתם את הייתכנות שהאקרים וגורמים זדוניים אחרים יעשו בהם שימוש כדי לגרום נזק מכוון. מיינדגארד טוענת בעקבות הבדיקה, כי לפחות מודל Kimi 2.6 עלול לאפשר להאקרים להריץ קוד על משאבי המחשוב של Moonshot ולהתחבר לאינטרנט - מה שהופך אותו חשוף למתקפת סייבר פוטנציאלית.
Moonshot לא דחתה את הממצאים, ולפי החברה היא "מנהלת דיון" עם מיינדגארד לגביהם. לפי החברה, היא מקבלת את ההערות והביקורת "כעמוד תווך מרכזי לבניית בינה מלאכותית טובה ובטוחה יותר", עם זאת, ביקרה את החלטת מיינדגארד לפרסם ברבים את החולשה שנחשפה.
מיינדגארד לא אישרה עדיין כי התשובות שקיבלה מהחברה הסיני מספקות את חוקריה, אבל מייסד הארגון, פיטר גאראגאן, אמר ל-BBC, כי הממצאים לגבי שני המודלים היו מדאיגים במיוחד. "ברגע שעקיפת האבטחה מצליחה, המודל פתוח לכל משימה, יהיה יצירתי, ואפילו ימליץ בחופשיות על פעולות זדוניות נוספות".
גאראגאן גם הגן על החלטת ארגונו לפרסם את הנושא, ואמר שהחברה המפתחת עודכנה כבר ב-27 ביולי, מבלי שנחשפו פרטים מרכזיים על הדרך שבה גרמו החוקרים למודלים שלה להתעלם מחומות ההגנה.
מנכ"ל Moonshot, יאנג ג'ילין
(רויטרס)
חשוב להדגיש, כי jailbreaking היא סוג שונה של סיכון לעומת אלו שהתגלו בשורת האירועים האחרונה, שבהם סוכני בינה מלאכותית שפותחו על ידי חברות כמו מטא, OpenAI ואנת'רופיק, סטו מן המשימות שהוגדרו להם ופרצו לשירותים מקוונים מסוימים.
באופן מעניין, גם אנת'רופיק הודיעה לאחרונה כי זיהתה ושיבשה ניסיונות להשתמש באחד ממודלי הבינה המלאכותית שלה ל"פעילות זדונית" שיכולה לתמוך בפיתוח נשק ביולוגי.
Kimi הוא מודל בקוד פתוח - כלומר ניתן להרצה חופשית על כל תשתית מחשוב. תעשיית הבינה המלאכותית חלוקה בשאלה האם מודלים סגורים וקנייניים, כמו אלה שמניעים את מערכות קלוד של אנת'רופיק ו-GPT של OpenAI, או דווקא מודלים בקוד פתוח הם הדרך הטובה או הבטוחה ביותר לעתיד ה-AI.
