明史學家吳晗寫了一篇著名的論文叫《胡惟庸黨案考》，把胡惟庸的案子從頭到尾縷析了一遍，最後證明，胡惟庸的前述罪狀多屬捕風捉影之詞，胡惟庸案是一個冤案。胡惟庸的罪行一件一件被發現，已經是胡惟庸被處死很多年以後了，也就是說，當胡惟庸案發的時候，他並沒有正式的罪名。
既然胡惟庸沒有正當罪名，又為什麼會被殺死呢？《明史》上說，他多年受到朱元璋的寵愛，自己獨攬丞相大權，有的時候，發生了一些事情也不向皇帝報告，還隨便提拔人和處罰人，當時有很多人奔走於他的門下，送給他的金銀財寶不計其數。朱元璋最恨的就是胡惟庸的專權，因為他專權，即使他沒有罪，也要把他殺掉。由此可見，胡惟庸之罪在於擅權僭侈，而這正是最不能為朱元璋所容忍的。洪武十一年（西元一三七八年），朱元璋下令限制中書省的權力，命令以後臣下上奏書，不許「關白」中書省。「關白」是什麼意思？就是凡是送給皇帝的奏章，都要同時送給中書省丞相一份。作為皇帝，朱元璋希望大權獨攬，掌控生殺予奪，決定一切，怎麼能允許這個權力被丞相分割呢？到了洪武十三年（西元一三八〇年）他除掉胡惟庸，終於廢除了丞相制度。
丞相的權力太大，殺了胡惟庸，如果再立一個丞相，仍然不免要與皇帝分享權力。於是，朱元璋乾脆一勞永逸地取消丞相制度，就不會再有丞相與皇帝分權了。在洪武十三年胡惟庸黨案後，朱元璋開始大刀闊斧地改革中央機構，主要是：廢中書省、罷丞相，「設五府六部、都察院、通政司（洪武十年設立）、大理寺等衙門，分理天下庶務」。總的精神是：將政權、軍權分割為若干部分，由各個系統不同的機構分別掌領，在丞相被撤銷以後，六部尚書直接對皇帝負責，六部與皇帝之間，沒有了丞相這一中間管理層，一切大權都由皇帝掌握。從中書省綜掌政權一變而為皇帝親自管理庶政，皇帝直接統轄了吏、戶、禮、兵、刑、工六部，控制了一切生殺大權。「政事一從皇帝出」，皇權相權合二為一，從此在中國歷史上已有一千多年的丞相（宰相）制度和七百多年的三省制度遂告結束，「朱元璋成為中國歷史上權力最大的皇帝」。
在廢除丞相制度同時，朱元璋對掌握國家最高軍事權力的機構也加以改組，他下令解散原來的最高軍事權力機構大都督府，因為大都督的兵權太大了。他把大都督府劃分為中、左、右、前、後五個都督府，即五軍都督府，每個都督府都有一個掌握著一定兵權的都督。這樣，統領天下兵馬的大都督兵權就被瓜分了。每個都督的權力只有原來大都督的五分之一，不足以對皇帝構成威脅。並且五個都督互相制約，互相監督，聽命於皇帝，如果一個都督要造反，其他四個將會形成牽制；退一步說，即使有兩個或三個都督串聯起來要造反，也不太容易。
