为了毁伤有生目标与轻装甲目标，16世纪末，有专家研制出了榴弹发射器，由于没有丰富的研制经验，榴弹发射器一直处于缓慢发展的状态。直到第二次世界大战末期，榴弹发射器才逐步趋于规范化。

二战时期，德军曾在信号枪上叠加枪托，以此来发射小型定装式榴弹，可以说，这是榴弹发射器最初的模型，到了20世纪50年代，为了填补手榴弹与迫机炮之间的空白，美国率先展开了对榴弹发射器的研究。1961年，M79式榴弹发射器正式交付部队使用。此后，榴弹发射器的研制速度也有了很大提升。

在美国成功研制榴弹发射器后，一些西方国家也纷纷效仿美国研制榴弹发射器，1969年，德国完成了首个HK69式榴弹手枪的研制工作，随后，又陆续推出了多款榴弹发射器。经过一段时间后，瑞士、奥地利、英国等国也开始研制出榴弹发射器，因此，榴弹发射器开始陆续普及到世界范围之内。