ניצן זעירא, מנהל חברת "נענע דיסק" וחברו הטוב של גולדברג, סיפר הערב ל-ynet: "דיברתי עם ז'אן-ז'אק לפני שבועיים וחצי ואני זוכר שהייתי בהלם מזה שהוא נורא רזה. הוא היה המתופף הכי גדול שעבדתי איתו בחיים שלי. אני חושב שבגלל המשפחה והפרנסה הוא בחר לעבוד ביהלומנות, ובגלל זה אנחנו פה הפסדנו הרבה. זה מאוד עצוב, אני לא בדיוק יודע איך להתנסח כרגע".
גולדברג היה ממקימי להקת "הקליק", יחד עם דני דותן, עובד אפרת ואלי אברמוב. הוא ניגן עם הלהקה מ-1980 ועד לפירוקה בשנת 83'. הלהקה נחשבה לאחת המשפיעות והחשובות ברוק הישראלי במהלך שנות השמונים ויצרה להיטים כגון "אל תדליקו לי נר" ו"אינקובטור". בשנת 88' התאחדה הלהקה לכמה הופעות בודדות. לפני שנתיים נערך איחוד נוסף והלהקה יצאה להופעות חדשות בהרכב מלא במועדון "הבארבי" בתל אביב. גולדברג גם זכור מעבודתו הרבה עם אהוד בנאי. השניים ניגנו ויצרו יחדיו במשך שנים רבות, בין היתר היה גולדברג אחד מחברי להקתו של בנאי, "הפליטים". בנוסף, גולדברג גם ניגן באופרת הרוק "מאמי", עם סי היימן, גבי שושן ו"האחים והאחיות", סיוון שביט, יעל לוי ועוד רבים.
נגינתו של גולדברג זכורה רבות גם משיריהם של רמי פורטיס וברי סחרוף איתם ניגן רבות ואף הקליט איתם את האלבום "1900". הקלטתו האחרונה של גולדברג הייתה באלבום של פורטיסחרוף, "על המשמרת" שיצא בשנה האחרונה. עם סיום העבודה על האלבום, יצא גולדברג יחד עם רמי פורטיס וברי סחרוף לסיבוב הופעות, אך החליט לעזוב את הסיבוב ושב לצרפת על מנת לטפל במחלתו.