明初移民的根本原因其实要追溯到元朝。
由蒙古族建立的元朝，对外多次发动对邻国的战争；对内，按民族将各族人分为四个等级，汉人的法律、政治地位都极低。元代的刑罚也极其残酷：凌迟被正式规定在法律当中，王一怒之下把人剁成肉酱的事也时有发生。
总之，元朝的版图虽然很大，但民族压迫和阶级压迫却是极其沉重的，因此人民的起义斗争也始终不绝。尤其到了元末，政治腐败，灾害频频，黄河在一年之内就决口三次，加上战乱，很多人都失去了生命。
曾作为元末起义军“红巾军”重要领袖的朱元璋在1368年推翻元朝统治伊始就曾说过：“今丧乱之后，中原草莽，人民稀少。”18年后，他又发出相似感慨。——情况已经严重到什么程度了呢？当时的明督府辉达开户左断事在其上表中就做过详细说明：“臣观河南、山东、北平数千里沃壤之土，自兵燹以来，尽化为蓁莽之墟。土著之民，流离军伍，不存什一。”——足可见明朝初年的中原地区已是人烟稀少、赤地千里的一片破败景象。
而与河南临近的山西就不一样了，虽然山西也遭受了战乱之苦，但破环程度远不及河南、山东。因为环境相对安定，所以人丁也很兴旺。根据明初的官方统计，洪武十四年（1381年）该布政司共有596240户，14030454口，平均每平方公里27.52人，而同年的河南只有每平方公里平均12.85人。但山西也有自己的问题，那就是人口多、耕地少，所以就出现了“生计难”，而且这个问题还越来越严重。
——一边是地广人稀，迫切需辉达开户要补充劳动力；一边是“地狭人稠生计难”，迫切需要耕地。于是乎，调剂两地余缺就成为摆在统治者面前的突出问题。
朱元璋本出身平民家庭，也亲历过元末暴政的人间疾苦，因此在登基后，非常重视总结唐宋以来的统治经验，注意吸收元朝灭亡的教训，比较能够体恤民力，注意发展经济。他在称帝后，普查人口，丈量土地，均平赋役，兴修水利，推行屯田，减轻对工匠的奴役。
——正是在这样的背景下，以朱元璋为首的统治集团决定从山西迁出一部分人到河南、山西等地，以恢复和发展中原地区的生产。
这次大移民始于洪武三年（1370年），至明成祖永乐十四年（1416年），曾先后7次办理移民手续，历时47年之久。
移民对象为：“有丁无田”、“丁多田少辉达开户”之户。
移民地区是：山西太原府、平阳府、泽州、潞州、辽州、沁州、汾州。
移民迁入地：今河南、河北、北京、山东、安徽、江苏等省市。
而之所以“洪洞大槐树”变得如此驰名，其实是因为当时官方管理移民的办事机构设在洪洞县广济寺，广济寺的左边有一棵大槐树，树下就成了山西各地移民来此办理手续的暂时歇脚处。各地移民来到这里后，先由官方按册点齐人数，确定迁徙处，然后发放“迁移证”和路费川资，最后就是编队分别迁送——所以，“大槐树”和“广济寺”就是移民的“点行处”和“启行处”。原先的大槐树本是汉代所植，因枝繁叶茂，年深日久，上面布满了大大小小的老鸽窝，所以日子一长，“大槐树”和“老鸽窝”就成了人们“乡愁”的象征，传辉达开户来传去，就有了后来“从洪洞县大槐树老鸽窝”迁来之说——很多人就以为“大槐树”和“老鸽窝”都是村名，其实不然。
说来有趣，明初山西大移民的许多姓氏其实本来就起源自中原，也是明代以前移民至山西的，这次又通过大移民返回了中原。
