כל מי שמשחק ברשת מכיר את הרגע הזה. אתה נכנס לעוד משחק תחרותי, מקווה להעביר שעה רגועה מול המחשב, ותוך דקות הצ'אט מתמלא בקללות, השפלות, גזענות ולעיתים גם באנטישמיות. עבור רבים זו כבר הפכה לרעש רקע קבוע של עולם הגיימינג. השאלה היא האם זה באמת חייב להיות כך.
בעמותת ADIR Labs הישראלית מאמינים שלא. אחרי שנתיים של מחקר ופיתוח השיקה העמותה את DashCam - מצלמת דשבורד שפותחה עם חברת Modulate.ai עבור גיימרים ועובדת בכל משחק. היא מאפשרת לזהות, לתעד ולדווח על התנהגות רעילה, אנטישמיות ושנאה מבלי שהשחקן נאלץ לעזוב את המשחק.
הכלי החדש לא מבטיח להעלים את השנאה מהרשת, וגם לא להעניש כל שחקן שמתבטא בצורה פוגענית. במקום זאת, הוא מנסה לפתור בעיה בסיסית יותר: להפוך תופעה שרבים חווים מדי יום, אך כמעט שאינה מתועדת, למשהו שאפשר למדוד, לנתח ולבסוף גם להתמודד איתו.
בשיחה עם ynet, מפתחי הפרויקט הסבירו למה לא מדובר בעוד כלי דיווח, איך החוויות האישיות שלהם עיצבו את תפיסת העולם שלהם לגבי אלימות בגיימינג, ואיך בכלל אפשר לפתור את אחת הבעיות הגדולות של תעשיית המשחקים.
להבדיל בין אנטישמיות לסלנג ובדיחות
השאלה הראשונה שעלתה היא איך בכלל מלמדים בינה מלאכותית לזהות אנטישמיות? הרי שחקנים משתמשים בלי סוף בסלנג, ציניות, הומור פנימי ובדיחות פרטיות. גם בני אדם מתקשים לפעמים להבין האם מדובר בבדיחה בין חברים או בהסתה של ממש.
מירסעיד (סעיד) עבסוב, המפתח הראשי של DashCam, מפתיע בתשובה שלו וטוען כי "הגרסה הראשונה של המערכת לא מנסה לזהות אוטומטית אנטישמיות ושיח שנאה. במקום זאת, היא מתבססת על השחקנים עצמם.
"ברגע ששחקן נתקל בהתנהגות פוגענית, הוא לוחץ על קיצור מקשים שהגדיר מראש, ומאותו רגע נשמר כל מה שקרה באותן שניות: התמונה מהמסך, השמע מהמחשב, הצ'אט הקולי וגם מה שנקלט במיקרופון שלו.
"כל המידע נארז לקובץ אחד, שאליו ניתן להוסיף לאחר המשחק הסבר קצר על האירוע, שם המשחק ופרטים נוספים לפני שליחתו לבדיקה". לדבריו של עבסוב, רק בשלב הבא ייכנסו מודלי בינה מלאכותית למערכת, שיאומנו בין היתר על בסיס מאגר הדיווחים האנושיים שיצטברו.
מימין: סעיד עבסוב
(עמותת ADIR)
ב-ADIR Labs אומרים שזהו למעשה אחד האתגרים הגדולים ביותר בתחום. כל מודל AI נשען על מידע קיים, ואם אין הסכמה ברורה מהי אמירה אנטישמית, מהי אמירה רעילה ומהו רק "סלנג של גיימרים", גם האלגוריתם יתקשה להבחין ביניהם.
בעמותה מסבירים שחלק משמעותי מהפעילות שלהם כיום אינו רק בניית הכלי עצמו, אלא גם יצירת מאגרי מידע איכותיים שיוכלו בעתיד לאמן מערכות AI בצורה מדויקת יותר.
אז למה שחברות המשחקים לא יעשו את כל זה בעצמן?
עבסוב טוען כי "בניגוד לדעה הרווחת, אולפני המשחקים דווקא רוצים לצמצם שיח רעיל בפלטפורמות שלהם. לא בהכרח מתוך אידיאולוגיה, אלא משום שזה פוגע גם בהם. שחקנים עוזבים משחקים רעילים, קהילות מתפרקות והמוניטין נפגע.
"הבעיה היא שרוב מערכות הדיווח הקיימות מסתמכות על דיווחים בודדים, ללא תיעוד מלא של האירוע. התוצאה היא שגם לחברות עצמן קשה להבין את היקף התופעה ואת הדפוסים שחוזרים על עצמם".
"כאן בדיוק נכנס DashCam. בסופו של דבר אנחנו רוצים לבנות 'ספרייה' עם ראיות אמיתיות", דניאל מסביר. "ברגע שנוכל להראות למפתחות המשחקים בדיוק איזה סוג של שיח שנאה מתרחש אצלן, יהיה להן הרבה יותר קשה להתעלם מזה."
יתרון נוסף, לטענת המפתחים, הוא שהמערכת אינה שייכת לחברת משחקים ספציפית. כל היא יכולה לעבוד כמעט בכל משחק, והשליטה נשארת בידי השחקנים.
ילד משחק במחשב. המטרה היא לתת לשחקנים כלים להתמודד עם שיח קיצוני
(צילום: shutterstock)
כל זה טוב ויפה, אבל איך מונעים הצפה ודיווחים שקריים? או במילים אחרות, ניצול לרעה של המערכת?
עבסוב: "אחת ההחלטות הראשונות שלנו הייתה תגמל משתמשים לא לפי מספר הדיווחים שהם שולחים, אלא לפי עצם השימוש באפליקציה. כך קטן התמריץ לייצר דיווחי סרק. בנוסף, כל דיווח מלווה בהקלטות ובחומרי הגלם עצמם, כך שלא מדובר רק בטענה של שחקן אחד מול אחר".
אלעד דניאל, מנהל מוצר ב-ADIR Labs , מצביע גם על בעיה נוספת במערכות הדיווח הקיימות: "כמעט תמיד כששולחים דיווחים במשחקים, הם פשוט נעלמים", הוא אומר. "אתה לא יודע אם מישהו קרא את הדיווח שלך, אם טיפלו בו או אם בכלל קרה איתו משהו.
"ב- DashCam לעומת זאת, כל דיווח נשמר בהיסטוריה האישית של המשתמש, והוא יכול לראות האם הדיווח נמצא בבדיקה, האם מישהו בכלל צפה בו, ומה הייתה ההחלטה שהתקבלה לגביו. השקיפות הזו היא אחד הדברים שחסרים כיום כמעט בכל משחק מקוון".
עבסוב ודניאל מעלים נקודה מעניינת נוספת. לטענתם, צוותי האכיפה של משחקים רבים עסוקים בעיקר במלחמה ברמאים, בצ'יטים ובניצול באגים. או במילים אחרות, בעיות שפוגעות ישירות במשחק וברווחים של החברות. התנהגות רעילה, לעומת זאת, נדחקת פעמים רבות הצידה.
צוותי האכיפה עסוקים בעיקר בבעיות שפוגעות ישירות במשחק וברווחים של החברות. התנהגות רעילה, לעומת זאת, נדחקת פעמים רבות הצידה
DashCam נבנה בדיוק עבור התחום הזה - לא כדי לטפל ברמאויות, אלא כדי להתמקד בשנאה, בגזענות ובהטרדות, ולייצר לראשונה מאגר מידע נקי שיוכל לשמש גם לפיתוח מערכות AI עתידיות וגם למחקר של התחום כולו.
מאז 7 באוקטובר: יותר שנאה, אבל עדיין מעט מאוד נתונים
אי אפשר שלא לשאול - רואים עלייה באנטישמיות ובשיח השנאה מאז תחילת המלחמה?
להפתעתי, התשובה הייתה מורכבת יותר משציפיתי. עבסוב: "אחת הבעיות הגדולות ביותר היא שפשוט אין מספיק נתונים אמינים. קשה מאוד למדוד תופעה שרובה מתרחשת בצ'אטים קוליים, בהודעות שנעלמות אחרי המשחק או באינטראקציות שאף אחד לא מתעד".
"אני יכול להעיד על מקרה שקרה לי במהלך משחק ב- Valorant. במהלך המשחק שוחחתי עם אחד מחברי הקבוצה שלי, ובשלב מסוים עלתה בשיחה העובדה שאני מוסלמי. מהר מאוד הטון שלו השתנה.
"הוא פשוט התחיל לחזור שוב ושוב על זה שאני ערבי", משחזר עבסוב. "למרות שניסיתי להסביר לו שאני אזרי ולא ערבי, למרות שזה פוגעני כך או כך, הוא המשיך להגיד 'אתה ערבי, אני לא רוצה לשחק איתך', וחזר על זה שוב ושוב". לדבריו, ההטרדות לא הסתיימו במילים. אותו שחקן החל גם לפגוע בו בתוך המשחק עצמו ולחבל בכוונה במהלך המשחק של הקבוצה.
החוויה הזו של עבסוב הייתה אחת מנקודות המפנה בפרויקט כולו. "אחרי שסעיד שיתף אותנו במה שהוא עבר, פתאום הבנו שאנחנו לא עובדים על בעיה תיאורטית", אומר דניאל. "זו מציאות שאנשים שאנחנו עובדים איתם, חברים שלנו, חווים על בשרם".
ההפגנה הפרו-פלסטינית ברובלוקס. מאז ה-7 באוקטובר רמות האלימות עלו משמעותית
(מתוך רובלוקס)
במהלך הפיתוח ערכו אנשי הארגון ראיונות עם עשרות שחקנים קבועים של משחקים כמו Valorant, League of Legends ו-Rocket League. כמעט כולם סיפרו שנתקלו באלימות מילולית, בגזענות או בהתנהגות רעילה אחרת.
המשותף לרבים מהם היה שהם פשוט הפסיקו לדווח. "הם אמרו שאין טעם", מספר דניאל. "הדיווחים נבלעים במערכת, אף אחד לא חוזר אליהם, והם לא יודעים אם בכלל נעשה משהו."
ב-ADIR Labs מסבירים שלמרות שקיימים מחקרים שמצביעים על עלייה משמעותית בשיח השנאה מאז פרוץ המלחמה, כולל זינוק באירועים אנטי-יהודיים ואנטי-מוסלמיים. עם זאת, בארגון מדגישים שהם עצמם מעדיפים שלא להסתמך על מספרים בודדים, אלא לבנות בסיס נתונים רחב שיוכל לשקף את המציאות בצורה מדויקת.
מבחינתם, זו גם אחת הסיבות לכך שהפרויקט לא מתמקד רק באנטישמיות. "אנחנו עוסקים באנטישמיות ובשנאה", מדגיש עבסוב. "אנטישמיות היא חלק מהבעיה, אבל יש גם שנאה כלפי מוסלמים, נשים, להט"בים וקבוצות נוספות. הטכנולוגיה צריכה לדעת להתמודד עם כל הסוגים".
אתם לא חוששים שזה ירתיע גיימרים לדעת שכל המשחק שלהם מוקלט?
לדבריו של עבסוב, זו אחת הנקודות המרכזיות שעליהן הם עובדים לקראת הגרסאות הבאות. "אחת האפשרויות שאנחנו בוחנים היא לתת לשחקן לבחור מה יוקלט - למשל להקליט רק את השמע, או רק את הצ'אט הקולי, בלי לשמור את התמונה מהמסך. אנחנו רוצים לתת למשתמשים שליטה מלאה.
"אחת האפשרויות שאנחנו בוחנים היא לתת לשחקן לבחור מה יוקלט. אנחנו רוצים לתת למשתמשים שליטה מלאה"
"האמת היא שמרבית התגובות משחקנים שהתנסו במערכת עד כה היו חיוביות מאוד, בעיקר משום שהיא מרכזת במקום אחד את כל סוגי הראיות - וידאו, אודיו וצילומי מסך - במקום להסתמך רק על צילום מסך בודד או על טענה מילולית. זה מעודד מאוד".
לשנות את תרבות הגיימינג
בסופו של דבר, האם המטרה שלכם היא להפוך את המשחקים לבטוחים יותר, או שבעצם אתם מנסים לשנות את תרבות הגיימינג עצמה?
עבסוב: "אם תשאלי גיימרים, הרבה מהם יגידו ששיח רעיל ופוגעני הוא פשוט חלק מהמשחק. תמיד היו קללות, העלבות ואנשים שמנסים לעצבן אחד את השני. זאת תרבות הגיימינג שגדלנו עליה."
"אבל, יש הבדל ברור בין תחרותיות והעלבות לשם הצחוק, לבין שנאה. כששחקנים מתחילים לפגוע אחד בשני בגלל מוצא, דת או מגדר, או כשהם בכוונה הורסים למישהו את המשחק רק כדי להציק לו, זו כבר לא תרבות גיימינג. זו בעיה.
"גם אם לא נפגעת אישית, אנשים כאלה עדיין יכולים להרוס לך את המשחק. הם יכולים לחסום אותך, להפריע לקבוצה, או פשוט לגרום לכך שאף אחד כבר לא נהנה לשחק.
"אחת השאיפות הגדולות של הפרויקט היא לשנות את נקודת המוצא הזו. אנחנו רוצים להגיע למצב שבו שנאה והתנהגות רעילה כבר לא ייחשבו לחלק טבעי מעולם הגיימינג. שבעוד כמה שנים הורים לא יצטרכו להכין את הילדים שלהם לכך ש'ככה מדברים באינטרנט'."
מנכ"לית ומייסדת עמותת ADIR, מוריאל לוטן, אשת עסקים ישראלית-אמריקאית, מעדיפה דווקא לצנן מעט את ההתלהבות: "אני לא חושבת שנכון להכריז שאנחנו הולכים לשנות את תרבות הגיימינג כולה. יש עדיין כל כך הרבה דברים שאנחנו לא יודעים על מה שקורה בתוך הקהילות.
מוריאל לוטן
(עמותת ADIR)
"אנחנו רוצים קודם כל להבין טוב יותר מה באמת קורה שם. לתת לתעשייה נתונים שהיא יכולה לעבוד איתם, לתת לרגולטורים מידע אמין, ובעיקר לתת לשחקנים כלים שיעזרו להם להתמודד עם מה שהם נתקלים בו".
לדבריה, אחת הבעיות המרכזיות כיום היא שהשיח סביב גיימינג מתבסס בעיקר על תחושות ועל סיפורים אישיים. בלי נתונים, קשה מאוד להוכיח את ממדי התופעה, וקשה עוד יותר לגרום לחברות המשחקים להשקיע משאבים בפתרון. "אם נצליח לאסוף מספיק מידע אמין, יהיה הרבה יותר קל לייצר שינוי", לוטן מסבירה.
עמותת ADIR הוקמה על ידי מוריאל לוטן לאחר שאיבדה את אחיינה אדיר מסיקה ז"ל שנרצח בנובה בעודו נלחם בידיים חשופות במחבלים כדי להציל את בת זוגתו ואנשים נוספים שהסתתרו במיגונית סמוכה.
ADIR הוקמה כדי לייצר פתרונות טכנולוגיים, לרתום חברות טכנולוגיה ולפתח כישרונות למאבק בתופעות של אנטישמיות ושנאה השוטפות את המרחב הדיגיטלי. העמותה ביצעה מחקר וזיהתה את תחום הגיימינג כרגיש במיוחד שכן הוא מהווה מקום מפגש אנונימי בו ילדים וצעירים מבלים שעות ארוכות ללא פיקוח הורי ועם מנגנוני אכיפה רופפים.
