伊斯蘭教傳入上海始于元代。至元十二年（1275年）元將西域回回沙全率兵攻入華亭（今松江），隨軍而來的西域色目人兵士多回回。至元十四年（1277年）沙全升任松江府達魯花赤（“掌印者”），隨軍官兵及家屬遂定居松江。至正年間（1341~1368），松江建立了第一座清真寺——真教寺，成為伊斯蘭教傳入上海的標志。

明初，朱元璋分封開國元勛中的回回將領鎮守食祿金山衛和嘉定等地。上海回回人口有所增加，伊斯蘭教初步發展。

清嘉慶年間（1769~1820年），七寶鎮南街創建七寶清真寺。道光二十三年間（1843年）建草鞋灣清真寺。1864年設穿心街（今福佑路）清真寺。咸豐五年（1855年）建立浙江路回教堂（俗稱外國寺）。

十九世紀末至二十世紀初，上海工商業日趨繁榮，外省穆斯林紛紛來滬，先后設藥水弄、鴻壽坊、江寧路、重慶路、斜橋、韜朋路、粉州路等清真寺。習慣形成了上海穆斯林“大分散、小集中”的分布格局，其經濟、文化、社會地位緩慢提高，振興伊斯蘭教意識逐漸加強。

辛亥前后到抗戰前，是伊斯蘭教全盛時期。1944年上海市回教堂理事會成立，這是近代中國成立的第一個伊斯蘭教團體，

宗教學術團體方面，由哈德成教長等發起于民國14年（1925年）成立的上海中國回教學會，在推動宗教教育改革，創辦《中國回教學會月（季）刊》，翻譯《古蘭經》，創辦上海伊斯蘭師范學校和敦化中小學，設立獎學金和圖書館，選送赴埃及留學生，資助著名教長長期出國考察，促進中外穆斯林文化交流，起了很大的推動作用。

民國26年（1937年）八一三凇滬戰爭爆發，上海的回教團體和教長們積極宣傳抗日救國，勉勵穆斯林投入前線和后方的抗日工作，并親身組織四處難民收容所，收容和賑濟數以千計的穆斯林難民。

1949年上海共有清真寺20 座，阿訇58人。當時上海范圍內穆斯林人口1.74萬余人。建國后，政府實行民族平等、信仰自由政策。1952年春，陳毅市長視察小桃園清真寺，隨即將該寺列入對外開放單位。1957年以前，政府多次撥款修理了6座清真寺。

1959年4月，專門成立了上海市清真寺管理委員會。1962年8月召開上海市伊斯蘭教第一次代表會儀，成立了上海市伊斯蘭教協會，“文化大革命”期間，上海市伊斯蘭教協會被停止工作。

1978年中共十一屆三中全會以后，重新落實民族宗教政策。1979年6月，上海市伊斯蘭教協會恢復工作，各項活動陸續開展。有7座清真寺（恢復開放，政府多次撥款修繕松江、小桃園等清真寺。松江清真寺于1980年被定為市重點文物保護單位。至1999年，滬西、浦東兩座清真寺在政府的扶持下重建。