על פי הדיווחים, הסיבה לכך נעוצה באי שביעות הרצון של השופט ויוצר התוכנית, סיימון קאוול. "זה לא עובד", אמר אחד המפיקים של התוכנית למגזין "Us Weekly". "שילמו לה 15 מיליון דולר רק כדי להגיד את המילה מדהים?". מקור נוסף בתוכנית טוען שקאוול לא קיבל את מה שציפה לו: "הוא רצה שבריטני תהיה מטורפת, אבל קיבל בריטני משעממת".
"אקס פקטור" עלתה לאוויר ב-2011, ופאנל השופטים כלל את קאוול, אל.איי ריד, ניקול שרזינגר ופאולה עבדול. הרייטינג שלה עמד על ממוצע של 12.5 מיליון צופים לפרק. כדי להעלות את נתוני הצפייה החליט קאוול להחליף את קול ועבדול, וגייס במקומן את דמי לובאטו וספירס. אבל גם העונה הנוכחית של התוכנית נחשבה לחלשה, ונתוני הרייטינג היו נמוכים. על פי הערכות, גם לובאטו תמצא את עצמה בחוץ, ובהתחשב בכך שאל.איי ריד כבר הודיע שלא ימשיך לעונה נוספת, קאוול יצטרך למצוא לעצמו חברים חדשים לשולחן השופטים.