终于高傲的朱元璋还是在现实面前低下了头，他明白想要一个人处理全国事务是不可能的了，因为明朝幅员辽阔并不是上古时期那种小国寡民的状态，最终朱元璋发出来“人主以一人御天下，不可无辅臣”的感慨。朱元璋要找帮手了。要说朱元璋不愧是雷厉风行的开国皇帝，办事效率就是快。洪武十三年（公元1380年）五月，朱元璋废除宰相制，到了当年的九月份，朱元璋就开始找人帮自己办事了。
朱元璋招来一批“耆儒”来协助自己处理政务，做一些抄抄写写的活，称之为“四辅官”。所谓的“耆儒”就是一些年老的儒生，为什么会选择这类人，其实是朱元璋深思熟虑后的结果，“耆儒”年纪大了，没有政治根基，不至于对皇权产生威胁，并且由他们出任的“四辅官”任期较短，并没有多大的权力，没有决策权只能负责为皇帝提供参谋意见。“四辅官”的设立表明朱元璋探索一种既能辅佐皇帝，又能够防止大臣专权的机构。当然，这个尝试后来失败了，主要原因还是“耆儒”年龄太大了，生活自理都成问题，根本没有精力来达成朱元璋的期望，所以第二年朱元璋就废除了这一机构。
第一次虽然失败了，但是朱元璋并没有灰心，洪武十五年（公元1382年）朱元璋又仿效宋朝的制度，设置殿阁大学士作为皇帝的顾问，殿阁大学士的设置成为明朝内阁制度的雏形。不过由于朱元璋在位期间十分勤政，重大政务必然亲力亲为，因此该时期的大学士很少能够参与决策，也没什么权力，只是参谋顾问而已，与后世的内阁相差甚远。朱元璋驾崩后，继位的朱允炆基本上沿袭了这一制度，也没有什么太大改动，直到朱棣登上皇位，一切就此改变。