ספרו של קרטר, המכונה "פלסטין: שלום, לא אפרטהייד", מתאר את תהליך השלום בין ישראל לפלסטינים במהלך כהונתו בבית הלבן בשנים 1980-1977. מבקרי הספר האשימו את הנשיא לשעבר בדעה משוחדת לטובת הפלסטינים.
סטיב ברמן, אחד מהבכירים שפרשו מתפקידם, אמר כי הוא נדהם לקרוא את דבריו של קרטר, שרמז כי אמריקנים חוששים מפני כוחם של השתדלנים היהודים ולכן לא מתערבים בסכסוך הישראלי-פלסטיני.
הביקורת הקשה שספג קרטר לא הפריעה לאוניברסיטת ברנדייס שבמדינת מסצ'וסטס להזמין את הנשיא לשעבר לקדם את ספרו בהרצאה מיוחדת שתתקיים בקמפוס. עם זאת, נדחתה הצעת האוניברסיטה לקיים עימות בין קרטר למשפטן היהודי אלן דרשוויץ.
דרשוויץ הודיע כי בכוונתו להגיע להרצאתו של קרטר על מנת שיוכל לשאול אותו "כמה שאלות קשות". דרשוויץ אמר כי הוא מעוניין לגלות מדוע קיבל קרטר כסף מסעודיה ולמה החליט "מרכז קרטר" לחקור הפרות של זכויות אדם בישראל ולא בסעודיה. "הוא טוען שכסף יהודי קונה את שתיקתם של פוליטיקאים ושל התקשורת, אבל הוא מכחיש שכסף ערבי קנה את שתיקתו שלו", אמר דרשוויץ.
לפני כחודש ניסה קרטר להדוף את הביקורת ופירסם מכתב שהופנה לקהילה היהודית האמריקנית. קרטר ביקש להבהיר כי לא התכוון להשוות בין ישראל לדרום אפריקה.
"מעולם לא טענתי שהיהודים האמריקנים שולטים בתקשורת, אלא שהתמיכה המובהקת של התקשורת האמריקנית בישראל נובעת מנוצרים, כמוני, שחונכו מילדות לכבד ולהגן על העם הנבחר, שמתוכו צמח מושיענו - ישו", כתב קרטר באיגרת.