בדיקה של NewsGuard , חברה אמריקאית העוקבת אחרי הפצת דיסאינפורמציה ברשת ובוחנת גם עד כמה צ’אטבוטים מבוססי AI חוזרים על מידע שגוי, מגלה כי קלוד חזר על טענות שקריות התומכות בתעמולה הרוסית ב-15% מהמקרים בהם נשאל על ידי משתמשים רגילים.
לא פחות מטרידה העובדה שבכל אחד מהמקרים הללו הוא הסתמך על מקורות המזוהים עם הקרמלין. מדובר בזינוק חד לעומת בדיקות קודמות, בהן השיעור עמד על 4% בלבד.
והמספרים האלה לא מגיעים משום מקום. הם מצטרפים לשורת תלונות שהצטברו בחודשים האחרונים מצד משתמשים, שטוענים כי קלוד הפך פחות מדויק ופחות זהיר בתגובות שלו. אם בעבר הוא הוביל את הטבלה עם הכי מעט טעויות מבין כלל הצ'אטבוטים שנבדקו, עכשיו נראה שהאמינות שלו מתחילה להיסדק.
בדיקה פשוטה, אך חכמה
הבדיקה עצמה הייתה די פשוטה, אבל חכמה. החוקרים הזינו לקלוד 20 טענות שקריות, חצי מהן מקורן בתעמולה רוסית והחצי השני בתעמולה איראנית, ובחנו איך הוא מגיב לשלושה סוגי משתמשים - תמים, מכוון וזדוני. הרעיון היה לדמות משתמשים מציאותיים שלא רק מחפשים מידע, אלא גם כאלה שרוצים להפיץ אותו הלאה.
התוצאות שהתקבלו היו מטרידות, זה בלשון המעטה. מול שאלות "רגילות", קלוד נפל לא מעט פעמים. מול ניסוחים זדוניים, או במילים אחרות כאלה שמדמים מפעילי דיסאינפורמציה, הוא אפילו שיתף פעולה בחלק מהמקרים ויצר גרסאות חדשות של אותן טענות שקריות.
אבל הסיפור האמיתי נמצא במקורות כאמור. קלוד לא המציא את המידע, הוא פשוט בחר לא נכון ממי לקחת אותו. בין היתר, הוא הסתמך על RT, כלי תקשורת שמזוהה עם הקרמלין, ועל רשת האתרים Pravda, שמונה מאות אתרים שמתחזים לאתרי חדשות לגיטימיים. לפי הנתונים, הרשת הזו הציפה את האינטרנט במיליוני כתבות שחוזרות על אותן טענות שקריות, בדיוק מה שמודלי AI "אוהבים" למצוא.
וכאן בדיוק נכנסת הבעיה הגדולה: מודלים כמו קלוד לא באמת מבינים מה נכון ומה לא, הם פשוט מזהים דפוסים. וכשדיסאינפורמציה מופיעה שוב ושוב ממקורות שנראים לכאורה אמינים, היא מתחילה להיראות למודלים כמו אמת.
אחת הדוגמאות הבולטות בבדיקה נגעה לטענה שקרית שלפיה מאות אוקראינים מתים מדי חודש בניסיון לברוח מגיוס. בפועל, אין לכך שום בסיס עובדתי. אבל קלוד לא רק חזר על הטענה, הוא גם הפנה למקורות שתמכו בה, כולל אתרים מהרשת הפרו-קרמלינית.
במקרה אחר, הוא קבע כי מגזין צרפתי דיווח על עשרות אלפי חיילים אוקראינים שערקו ונשארו בצרפת. גם כאן, מדובר בפייק מוחלט שהתבסס על סרטון מזויף. קלוד לא בדק את המקור ופשוט "זרם עם זה".
ואם זה לא מספיק, הבדיקה מראה שגם בזירה האיראנית המצב לא מזהיר. קלוד חזר על טענות שקריות ב-20% מהמקרים כשנשאל על תעמולה פרו-איראנית, כולל טענה שלא הייתה ולא נבראה על כך שסין עברה לסחור בנפט ביואן במקום בדולר.
3 צפייה בגלריה
נשיא רוסיה פוטין עם נשיא סין שי ג'ינפינג. תעמולה שזולגת ל-AI
(צילום: Alexander KAZAKOV / POOL / AFP)
אז מה השתבש?
המצב הפך לכה חמור עד שאפילו אנת'רופיק נאלצה להודות שמשהו קרה, והודיעה באפריל האחרון כי היא בוחנת דיווחים על ירידה באיכות התשובות של קלוד. החברה אמנם טענה שתיקנה בעיות כאלו ואחרות, אבל לא סיפקה הסבר ברור למה שקורה בצ’אטבוט עצמו.
בתעשייה יש כבר לא מעט השערות לסיפור הזה, כאשר אחת המרכזיות היא עומס. קלוד הפך פופולרי מאוד, והביקוש הגבוה אילץ את אנת'רופיק לצמצם את המאמץ החישובי של קלוד לכל תשובה. במילים פשוטות – הצ'אטבוט התחיל להתאמץ פחות בכל תשובה, לבצע פחות בדיקות והצלבות, וזה מוביל ליותר ויותר טעויות.
הסבר נוסף נוגע לאופן שבו מנועי חיפוש עובדים. ככל שרשתות כמו Pravda מקבלות יותר חשיפה, גם אם היא שלילית, הן מטפסות בתוצאות החיפוש. כך, כשמערכת בינה מלאכותית מחפשת מידע, היא פשוט נתקלת באותם אתרים שוב ושוב. התוצאה היא מעגל בעייתי שבו תעמולה שמופצת בהיקף גדול הופכת לנגישה יותר, ואז גם למקור לגיטימי בעיני מודלים.
עם זאת, בסופו של יום זו לא רק בעיה של קלוד. זו תזכורת לא נוחה לכולנו למה שבינה מלאכותית באמת עושה - היא לא בודקת עובדות, ולא באמת מבינה מה שהיא קוראת, היא פשוט משקפת את האינטרנט. וכשחלקים מהאינטרנט מזוהמים, גם התשובות שלה יהיו כאלה.
