司马懿出身世族，初被辟为曹操丞相府文学掾，屡转至丞相主簿。

孙权遣使劝曹操代汉自立，司马懿亦从之。

227年，司马懿率军速抵新城（今湖北房县），破城斩孟达。

231年，蜀丞相诸葛亮出祁山攻魏，明帝以司马懿为都督雍、凉二州诸军事，西镇长安主持战事。

234年，诸葛亮病死军中，蜀军无功而退，司马懿以功迁太尉。

238年，司马懿率步骑四万大破叛魏的辽东公孙渊，次年，受明帝遗诏，与曹爽一起辅齐王芳，加侍中，都督中外诸军，录尚书事，后转为太傅。

251年，拥魏的都督扬州诸军事王凌起兵反抗，又被司马懿迅速平定，司马氏代魏的基础从此奠定。是年，司马懿拜相国，封安平郡公。