汉贺岁堂的官制图

从汉高祖到武帝前期这不到一百年的时间无疑是中国历史上丞相最风光鼎盛的时代。到了武帝绞尽脑汁搞出了中朝这样一套与外朝并行不悖的行政系统，丞相多少就有点委屈了。跟着丞相一起倒霉的还有御史大夫。御史大夫作为实际上的副相，拥有和丞相差不多的决策权力，就是所谓“政令出于两府”（丞相府、御史大夫府），虽然它的本职仍是负责监察、弹劾官员的贪赃不法行为。中朝政治出台以后，御史大夫作为陪绑的牺牲品，也被中朝的那批小官们夺走了实权。至于太尉一职，在汉朝屡有废置，并不常设。武帝曾在继位的次年（建元元年，公元前140年）复置，以田蚡为太尉，次年又废去，以后不再设置。元狩四年（公元前119年）汉武帝又设置“大司马”的头衔作为将军的冠号，同时授予大将军卫青和骠骑将军霍去病，让他们相互制衡，这样连太尉的兵权也被大司马夺走，被赶到架子上晾了起来.
和尚书地位的冉冉升起形成鲜明对照的，是三公、特别是丞相地位的急剧下降。“三公”是周朝的制度，但三公究竟指的是哪三类地位最尊的职官，历来有两种不同的意见。按照古文经学家的意见，三公指的是《周礼》中的太师、太傅和太保（后来又被称为“三孤”）；而今文经学家则针锋相对地认为三公是《尚书大传》、《礼记》中记载的司马、司徒和司空。汉初本来不设三公，汉武帝受经学的影响，将丞相、御史大夫、太尉称为三公，但并不是真正实行“三公”的制度。实际上在外朝的官僚集团中，御史大夫、太尉的地位和丞相并不平等，而是以丞相为首，御史大夫和太尉为副的格局。
到了成帝绥和元年（公元前8年），汉成帝采纳何武的建议，将御史大夫改称为“大司空”，又将大司马、大司空的俸禄提高到与丞相相等，汉朝的“三公制”这才正式确立。汉成帝的做法实际上是使大司马、大司空的地位和丞相平起平坐，使他们能分庭抗礼，成三足鼎立之势，三公实际上就是三个宰辅。将丞相之职由一变三，进一步削弱了丞相本来就已被中朝剥离得所剩无几的权力。哀帝元寿二年（公元前1年），又将丞相改称为“大司徒”，这样汉朝的三公就连名称都和今文经学著作中描述的完全一致了。东汉初年，三公名号前不再冠以“大”字，改称司马、司徒和司空，又改司马为太尉，仍居三公之首。
东汉建立以后，汉光武帝刘秀鉴于西汉后期权臣擅权的恶例，开始有意地排挤、打击三公的势力，让他们身居高位，处理政务的实际权力却逐渐下移到尚书台。
按照经文学家