חברת OpenAI, מפתחת ChatGPT, הודתה בסוף השבוע האחרון כי זיהתה כבר בחודש יוני אשתקד פעולות מעוררות חשד בצ'אט של הרוצחת האחראית לאחד ממקרי הירי ההמוני החמורים ביותר בהיסטוריה של קנדה, אך לא הודיעה על כך למשטרה.
ג'סי ואן רוטסלאר, טרנסג'נדרית בת 18, רצחה ב-10 בפברואר שמונה אנשים ופצעה לפחות 25 בעיירה טאמבלר רידג' שבקולומביה הבריטית, לפני שהתאבדה. היא ירתה למוות תחילה באמה ובאחיה החורג בבית המשפחה, ואחר-כך המשיכה לבית הספר הסמוך, שם רצחה עוד שישה בני-אדם - עוזר הוראה בן 39 וחמישה תלמידים בגילי 12 עד 13.
נכון לעכשיו המניע לירי נותר לא ברור, אך ממה שידוע ודווח בכלי התקשורת בחו"ל, לנערה הייתה היסטוריה של עימותים עם המשטרה המקומית, בין היתר בשל הבעיות הנפשיות מהן סבלה.
הנורות האדומות שלא היו אדומות מספיק
לפי OpenAI, הנורות האדומות בנוגע לרוצחת נדלקו במסגרת נוהל קבוע בחברה לאיתור מוקדים ברשת העוסקים ב"קידום פעילויות אלימות". מתברר כי ואן רוטסלאר התעסקה במשך מספר ימים בתרחישים של אלימות בנשק ב- ChatGPT.
לפי וול סטריט ג'ורנל, הפוסטים של הנערה, שסומנו במיוחד על ידי מערכת הבקרה האוטומטית, הדאיגו כעשרה עובדים שנחשפו למידע, אך עוררו ויכוח ביניהם בשאלה כיצד יש לפעול: חלקם פירשו את כתיבתה של ואן רוטסלאר כאינדיקציה לאלימות אפשרית בעולם האמיתי, וקראו לראשי החברה להתריע בפני רשויות החוק הקנדיים.
המנהלים אכן שקלו להתריע בפני המשטרה הקנדית, אך בסופו של דבר לא עשו זאת, כיוון ש"החשד לא עמד בסף שמצדיק פניה לרשויות החוק". במקום להפנות את הפרטים למשטרה, הוחלט בחברה רק לחסום את החשבון של הנערה בשל "הפרת מדיניות השימוש".
לפי OpenAI, הסף שנקבע אצלה להפניית פרטיו של משתמש לרשויות החוק הוא האם המקרה מהווה סיכון מיידי לפגיעה פיזית חמורה באחרים. לטענת החברה, היא לא זיהתה אצל הרוצחת תכנון אמין או מיידי שכזה.
רק לאחר ששמעו על הירי בבית הספר, העובדים שנחשפו לסיפור ונטלו חלק בהתלבטות פנו למשטרה הקנדית עם מידע על החשודה. "מחשבותינו עם כל מי שנפגע מהטרגדיה", מסר דובר OpenAI, "פנינו באופן יזום למשטרה הקנדית ונמשיך לתמוך בחקירה".
הסימנים המקדימים היו שם
היבטים נוספים של פעילותה של ואן רוטסלאר ברשת הופיעו בימים שלאחר הפיגוע, כולל משחק וידאו שמדמה ירי המוני, אותו יצרה ואן רוטסלאר בפלטפורמת רובלוקס, שידועה בחופש הרב אותו היא מעניקה לשחקניה הצעירים.
פוסטים ברשתות החברתיות מלמדים עוד שהצעירה פרסמה תמונות שלה בעת ירי במטווח, טענה שייצרה מחסנית כדורים באמצעות מדפסת תלת-ממד, והשתתפה בדיון מקוון על סרטוני יוטיוב שנוצרו על ידי חובבי נשק. היא גילתה גם עניין מיוחד בסרטי אנימה וסמים בלתי חוקיים.
המקרה מעורר מחדש שאלות קשות שמנהלי פלטפורמות מקוונות נדרשות להתמודד איתן בצורך לאזן בין השמירה על פרטיות המשתמשים לבין בטיחות הציבור, לפני שהן מחליטות לפנות לרשויות החוק. כעת הדילמה מגיעה גם לפתחן של חברות ה-AI, שמפעילות צ'אטבוטים שבהם משתפים אנשים את הפרטים האינטימיים ביותר שלהם.
לפי OpenAI, היא מאמנת את המודלים שלה להרתיע מראש משתמשים מלגרום נזק אמיתי, והמערכת מזהירה אוטומטית מפני שיחות שכוללות כוונה לפגיעה בבני-אדם, כך שהחברה יכולה להפנות אותן לרשויות החוק במקרים של סיכון מיידי לנזק פיזי חמור.
