也可札鲁忽赤实际上成为国家最高行政长官。窝阔台灭金以后，命失吉忽秃忽为中州断事官，统管汉地户口、赋税、刑法等事务，专治一方，汉人称之为“胡丞相”。
此外，大汗建有怯薛组织，承担护卫大汗、宫廷服务、行政差遣等任务。怯薛组织设有必阇赤一职，掌管写发大汗诏令及其他宫廷文书事务。
后来，蒙古统治地域不断扩大，在中原和西域各地区颁布政令以及征收贡赋、任免官吏等，都需要行用文书，必阇赤的作用越来越重要，逐渐得以参与政务，成为次于大札鲁忽赤的辅相之臣。
1231年，窝阔台南征驻跸云中(今山西大同),曾仿中原官称，授予必阇赤长官耶律楚材、粘合重山、镇海三人为中书令和中书左、右丞相，并将必阇赤机构改称中书省。
不过，那时改称的中书省只是权宜之计，并不是蒙古中央统治机构的定制。
忽必烈即位以后，面对蒙古权宜设官、中央统治机构混乱的状况，命令刘秉忠、许衡等人“酌古今之宜，定内外之官”。
刘秉忠、许衡等人以为，唐宋以来，中央实行三省制，但北宋实际起作用的是中书省、枢密院和三司。
至金代，干脆将三省合为一省，称为尚书省，另设枢密院和御史台，掌管军事和监察。刘秉忠、许衡都生于金代，对金制十分熟悉，认为金代的中央机构简要、实用，建议忽必烈仿照金制，在中央设置中书省掌行政，枢密院掌军事，御史台掌监察，作为中央的主要行政机构。