כבר בתקופת יוון העתיקה
והאימפריה הרומית
פותחו כלי נשק תלולי מסלול במטרה לעקוף את ביצורי האויב. עם כלי נשק אלו נמנים הקטפולטה (Catapult), הבליסטרה (Ballista), ובימי הביניים המוקדמים
גם הטרֶבּוּשֶה (Trebuchet). בתחילת המאה ה-15 פותחו מרגמות עשויות יציקת מתכת בעלות קוטר רחב שהיה גדול יותר מאורך הקנה. הן היו כבדות, מסורבלות, בעלות קצב אש נמוך ובתחילה ירו פצצות ללא מטען חומר נפץ מרסק או הודף.

רגם בריטי טוען מרגמה 60 מ"מ, 1940 (צילום: Gettyimages Imagebank)
המרגמות הראשונות שניתן היה לניידן פותחו בסוף המאה ה-17 בהולנד. קוטרן היה כ-350 מ"מ והן היו יעילות הרבה יותר מקודמותיהן. גם על ספינות הוצבו מרגמות, אך בעלות קוטר קטן יותר, 100 מ"מ לערך. למעשה, ההבדל העיקרי בין מרגמות אלו למרגמות של ימינו היה שחימושן של המרגמות המודרניות כולל את חומר הנפץ ההודף והמרסק בפצצה אחת.
חשיבותה של המרגמה בשדה הקרב ירדה במהלך המאה ה-19, אך עם פרוץ מלחמת העולם הראשונה
היתה לכלי נשק נפוץ. ב-1915 פיתח הבריטי סר וילפרד סטוקס (Wilfred Stokes) מספר מרגמות שנקראו על שמו, ונחשבות למרגמות המודרניות הראשונות. פצצות המרגמה של סטוקס עוצבו בצורת בצורת "טיפה" (החלק העליון מעוגל והאחורי צר), ומרעומן דמה לזה של רימון יד
מאותה תקופה. "מרגמת סטוקס" 81 מ"מ לדוגמה ירתה כ-22 פצצות לדקה לערך בנות 5 ק"ג למרחק של כמעט קילומטר.
"מרגמות סטוקס" פותחו בתגובה למרגמה גרמנית בקוטר 170 מ"מ שכונתה "זורקת המוקשים" (Minenwerfer) ונחשבה לכבדה ומסורבלת, אך הסבה אבדות לא מועטות לצרפתים ולבריטים. מדינות ההסכמה השתמשו גם במרגמה כבדה בקוטר של 240 מ"מ שזכתה לכינוי "החזיר המעופף" (Flying Pig) בשל פגזיה הגדולים ומהירות הלוע הנמוכה שלה. היא שקלה כחצי טון וירתה פגזים במשקל 65 ק"ג.
בהמשך המלחמה פיתחו המדינות הלוחמות מרגמות שדמו מאוד לאלו שבנה סטוקס. לאחר המלחמה שופרו המרגמות: פותח קנה מחורק, שופרו המרעומים ופותחו מספר שיטות להגדלת לחץ הגזים בקנה במטרה להעלות את טווח הכלי.

מרגמה גרמנית על רקע תותחי שדה, 1915 לערך (צילום: Gettyimages Imagebank)
במלחמת העולם השנייה
היו המרגמות כלי נשק עיקרי בלוחמת חי"ר. ארה"ב לבדה ייצרה מעל ל-50,000 מרגמות 60 מ"מ. אחרי המלחמה פותח חימוש נוסף לפצצות מרגמה: תאורה, עשן וגם פצצות מצרר המיועדות למרגמות כבדות. צבא ארה"ב פיתח פצצת מרגמה נושאת ראש נפץ גרעיני
קטן שהצטרפה לפצצות מרגמה נושאות חומרים כימיים
שפותחו עוד לפני מלחמת העולם השנייה.
בצה"ל
מילאה המרגמה את רוב תפקידי הארטילריה במלחמת העצמאות,
בגלל המחסור בתותחים. מהמרגמות מתוצרת עצמית בארץ זכתה לפרסום מיוחד ה"דווידקה", שהצטיינה בלחימה נגד הכוחות הערביים בירושלים.

חברי ארגון "הברית הצפונית" באפגניסטן מתכוננים לירי מרגמות, 2001 (צילום: AP)