后来，这类行省越设越多，并渐趋稳定，已与前代所设的临时性的中央派出机构大不相同，实际上已成为常设的地方机构。
鉴于这种情况，忽必烈干脆将各地所设行中书省作为地方上最高行政机构固定下来，并向全国推广。
由行中书省成了地方的行政机构，行省官员若再以中书省宰执行中书省系衔，就与中书省的权限没有区别了，且职权太重，为此，忽必烈重新更定官制，撤销中书省宰执行中书省之职，只设某处行中书省丞相、平章政事、右丞、左丞、参和政事等。
后来，又嫌行中书省丞相职权太重，取消其职，以平章政事为行中书省最高长官。
忽必烈整顿地方机构，正式确立了行省制度。其时，将大都周围的河北、山西、山东等地称为“腹里”,由于中央的中书省直接统辖。
此外，忽必烈在全国共设立十个行省：陕西行省，辖境包括今陕西省以及甘肃省、内蒙古自治区的部分地区；甘肃行省，辖境包括今宁夏回族自治区、甘肃省大部分和内蒙古自治区的一部分地区；辽阳行省，辖境包括今辽宁、吉林、黑龙江三省以及内蒙古部分地区和黑龙江以北、乌苏里江以东今属俄罗斯地区；河南江北行省，辖境包括今河南省以及湖北、安徽、江苏三省的长江以北地区。