מחקר שפרסם לפני 24 שנים פרופ' דן אריאלי, מהחוקרים הישראלים הבולטים בתחום הכלכלה ההתנהגותית, "נמשך" לאחרונה על ידי כתב העת Psychological Science, לאחר שניתוח חדש של הנתונים העלה שורה של חריגות, שהובילו את חוקרי Data Colada לטעון כי הנתונים עברו מניפולציה חמורה או זויפו. פרופ' אריאלי, מצדו, כתב כי התיעוד שברשותו כיום אינו מספיק כדי להשיב על השאלות שעלו, וכי גם הזיכרון שלו מהניסויים, שנערכו לפני יותר משני עשורים, אינו מספיק לכך. לדבריו, הוא משתף פעולה עם הליך הבדיקה ומשיכת המאמר.
המאמר, שפורסם ב-2002 ונכתב על ידי אריאלי ופרופ' קלאוס ורטנברוך, עסק בדחיינות ובשאלה כיצד מועדי הגשה משפיעים על ביצועיהם של אנשים. החוקרים דיווחו כי אנשים שביצעו סדרת משימות תחת מועדי הגשה חיצוניים ומרווחים היטב הצליחו יותר מאנשים שקבעו לעצמם את המועדים או התמודדו עם מועד אחרון יחיד. המאמר זכה להשפעה ניכרת: הוא נכלל כחומר קריאה בקורסים רבים בפסיכולוגיה ובכלכלה, ולפי Data Colada, הוא צוטט יותר מ-2,100 פעמים.
הפרשה הנוכחית החלה לאחר ניסיון לשחזר את אחד הניסויים במחקר. פרופ' קייל היינדמן ופרופ' אלברטו ביזין פרסמו ב-Psychological Science מחקר שחזור של הניסוי השני, אך לא הצליחו לשחזר את התוצאות המקוריות. במסגרת העבודה על השחזור נחשפו החוקרים לקובצי נתונים שקיבל היינדמן בשנת 2006 מכתובת הדואר האלקטרוני של אריאלי. לפי Data Colada, שלושת קובצי האקסל נשאו מאפייני קובץ שלפיהם נשמרו לאחרונה על ידי משתמש בשם 'Dan Ariely'. עם זאת, אריאלי טען ב-2024 כי ייתכן שהקבצים שקיבלו החוקרים אינם קובצי הנתונים המקוריים, ולא סיפק להם קובצי נתונים חלופיים.
בעקבות הממצאים, שלושה חוקרים העוסקים בחקר אמינותם ושחזורם של מחקרים - פרופ' אורי סימונסון, פרופ' ג'ו סימונס ופרופ' לייף נלסון - בחנו את הנתונים במסגרת אתר Data Colada. בפוסט שפרסמו ב-31 באוגוסט הם הציגו ארבעה "דגלים אדומים" שלטענתם מצביעים על בעיה חמורה בנתונים.
המסקנה של חוקרי datacolada
(צילום: מתוך אתר datacolada.org)
אחד הממצאים המרכזיים נוגע לניסוי שבו 60 משתתפים נדרשו לבצע שלוש מטלות הגהה. לפי הנתונים המקוריים, המשתתפים שקיבלו מועדי הגשה שבועיים ביצעו בממוצע 136.1 תיקונים, לעומת 71.1 בלבד בקרב מי שנדרשו להגיש את כל המטלות ביום האחרון. Data Colada חישבו אפקט סטטיסטי חריג בגודלו – וטענו כי מדובר בתוצאה יוצאת דופן עבור ממצא פסיכולוגי מסוג זה.
ממצא נוסף שהעלה את חשדם של החוקרים היה ריבוי של תצפיות זהות. לפי הניתוח שלהם, 18 מתוך 20 המשתתפים בקבוצת "המועד האחרון" היו בעלי "תאום נתונים" - כלומר, משתתף אחר עם בדיוק אותם ערכים בכל שלוש מטלות ההגהה. החוקרים ציינו כי תופעה כזו הופיעה רק בקבוצה הזאת ולא בשתי הקבוצות האחרות.
הנתונים שהוצגו מהמחקר
(צילום: מתוך אתר datacolada.org)
החוקרים הצביעו גם על מתאמים סטטיסטיים שלטענתם חריגים. המשתתפים ביצעו שלוש מטלות הגהה דומות, אך בנתונים המקוריים כמעט שלא נמצא קשר בין ביצועיהם במטלה אחת לביצועיהם באחרת, אף שבמחקר השחזור נמצאו מתאמים גבוהים מאוד. גם חמשת המדדים הסובייקטיביים של חוויית המטלה כמעט שלא היו קשורים זה לזה בנתונים המקוריים, בניגוד למחקר השחזור. בנוסף, רק 11.7% מהזמנים שהמשתתפים דיווחו עליהם בנתונים המקוריים היו מספרים עגולים, לעומת 85% במחקר השחזור.
Data Colada סיכמו כי אינם מצליחים למצוא הסבר תמים לכל החריגות וכי לדעתם הנתונים "עברו מניפולציה חמורה או זויפו" כדי לייצר את התוצאות הרצויות. עם זאת, החוקרים הדגישו כי הם מציגים את הראיות ומאפשרים לקוראים להגיע למסקנות משלהם.
ההודעה הרשמית על משיכת המאמר
(צילום: מתוך אתר datacolada.org)
בהודעת המשיכה הרשמית של Psychological Science נכתב כי מאמר השחזור העלה שאלות בנוגע לנתונים שעליהם התבסס המחקר המקורי, וכי לא ניתן לאשר את האותנטיות והשלמות של מערך הנתונים שיוחס למחקר. ההודעה מתייחסת גם לניתוח של Data Colada, שקבע כי יש ספקות משמעותיים בנוגע למהימנות הנתונים. בעקבות זאת קבע עורך כתב העת כי אינו יכול עוד להעיד על מהימנות תוצאות המאמר והורה על משיכתו. שני המחברים, דן אריאלי וקלאוס ורטנברוך, הסכימו למשיכה.
פרופ' אריאלי עצמו התייחס לפרשה עוד לפני ביטול המאמר. בהודעה שפרסם ב-7 באוגוסט כתב כי נודע לו שהנתונים שעליהם התבסס המחקר מכילים "חריגות חמורות". לדבריו, התיעוד שברשותו כיום אינו מספיק כדי לענות על השאלות שעלו, וגם לאחר יותר משני עשורים הוא אינו יכול להסתמך על זיכרונו מהניסויים. אריאלי הוסיף כי האחריות שלו כעת היא לסייע להבטיח שהרשומה המדעית תהיה מדויקת, וכי יחד עם ורטנברוך הוא משתף פעולה עם כתב העת בתהליך הבדיקה והמשיכה של המאמר.
