根據(jù)現(xiàn)有資料查證，回族徙居山西的原因很多，時間不一。回民最早進入山西是在13世紀初。當時隨著蒙古軍西征，大批中西亞人東遷。元朝統(tǒng)一中國后，這些些隨軍東遷的色目人在各地屯田定居。大同市一帶最早的回族先民即源于此。現(xiàn)在可考的右玉縣麻姓回民，徙居右玉已歷29代，曾五易墓地，約計700余年。到了明代，麻姓已是大同一帶的望族。 

    元末明初，由于軍事征戰(zhàn)、調(diào)遣、移民和經(jīng)商等原因，各地回回的大量遷入，是山西回族的形成時期。據(jù)古建筑專家鑒定，規(guī)模較大的太原清真古寺的殿堂建于元明交替之際，這證明太原的回民在元末明初時已為數(shù)不少。洪武年，朱元璋分封諸王，屏藩王室。據(jù)《明史》載：“沈藩二十六王，皆居潞”。潞即今長治市。明永樂六年（公元1408年）沈簡王朱模封至長治，在起移駕潞州的侍衛(wèi)人員中就有百余名回族人，多數(shù)為南京水西門的馬、程兩姓，其中有軍士、手工業(yè)者和商人，定居在今長治皇城周圍的銅鍋、南頭、營口，即三道營一帶。雁北地區(qū)右玉縣的甄姓回族原系明京都的回回，在右玉已歷19代人，約500年。在甄姓回族開設的王盛園飯館招牌上，曾標有“京都回回”字樣。到清代后期，甄姓回族是右玉首富之家。 

    明永樂年間實行移民政策，在山西省洪洞縣設有移民站，是移民集散地。太原回回中的十大姓，即朵、羅、田、梁、李、金、薩、海、島、邸，大部分是這次移民來的。其中金姓、梁姓來自南京。這期間，也有一些人入晉經(jīng)商留居的回民，如太原的楊、丁、馬姓，是從陜甘寧入晉經(jīng)商而定居下來的，田姓則是有山東經(jīng)商輾轉(zhuǎn)內(nèi)蒙古呼和浩特后到太原落戶的。 

    明末清初以后，因戰(zhàn)亂、逃荒、經(jīng)商等原因、由陜西、河南、寧夏、河北、山東等第遷居山西的回族留居于山西晉城、運城一帶。如絳縣回族是明崇禎五年（公元1632年）定居的。順治六年，回族被內(nèi)徙遷調(diào)。現(xiàn)可考的有右玉縣馬姓回族，系從山東遷入的，據(jù)其家譜記載，到右玉縣已歷13代，約300余年。大同縣馬家會村回民也是同期由河北宣化府遷入的。清道光二十年，河南懷慶府一部分回族遷入晉城城關(guān)。同治初年，西北回族群眾抗清起義失敗后，有兩批到晉城定居下來，約100余戶，500多人口。運城地區(qū)的垣曲、新絳、合津等縣回族多數(shù)是清代從河南遷入的。自1907年正太鐵路通車后，河北石家莊、保定地區(qū)有眾多回族陸續(xù)到太原和晉中地區(qū)謀生并定居。 

    解放后，隨著干部職工的工作調(diào)動和民間婚嫁，也有一些回民從河北、北京、內(nèi)蒙古、河南等地遷居山西。