20世紀70年代末，受伊朗伊斯蘭革命影響，一批巴勒斯坦激進學生在埃及籌建了這個組織，其目標是通過“圣戰”消滅以色列，在巴勒斯坦建立一個伊斯蘭國家；在伊斯蘭運動推動下，重建統一的伊斯蘭世界。由于美國支持以色列，該組織視美國為敵人，仇視溫和的阿拉伯國家。1981年10月，埃及總統薩達特因為和以色列媾和而遭到埃及極端分子暗殺，該組織中的部分人員也參與了這次行動。其后，這一組織的成員全部被驅逐到加沙地帶。此后，他們以加沙為基地，開始了頻繁的針對以色列的襲擊活動，主要活動地點在以色列被占領土、約旦、黎巴嫩。

　　長期以來，伊斯蘭圣戰組織一直未同哈馬斯建立聯系，直到1994年后才與哈馬斯進行協調，共同采取行動。

　　伊斯蘭圣戰組織得到伊朗、敘利亞的贊助，在貝魯特、大馬士革、德黑蘭、喀土穆設有辦事處。伊拉克戰爭后，敘利亞政府在美國的壓力下，關閉伊斯蘭圣戰組織在大馬士革的辦事處。