建興五年（公元227年），諸葛亮率軍北上駐扎在漢中，蔣琬與長史張裔統管丞相留守府的公務。
建興八年（公元230年），蔣琬取代張裔擔任長史，加授撫軍將軍。
諸葛亮多次興兵北伐曹魏，在此期間蔣琬一直負責后勤事務，給前方部隊籌備糧食和兵員。
諸葛亮每次都稱贊蔣琬，志向忠誠，是值得托付大事的人。
不久，諸葛亮又秘密上表后主劉禪，如果自己發生不幸，朝政大事可交付給蔣琬接替。
建興十二年（公元234年）八月，諸葛亮病逝，蔣琬升任尚書令。
不久，后主劉禪有擢升蔣琬代理中都護，假節，兼任益州刺史。
次年，蔣琬又升任大將軍，錄尚書事，封為安陽亭侯。
蔣琬接替已故丞相諸葛亮主持蜀國朝政，當時因為丞相諸葛亮剛去世不久，蜀國上下都面臨危險的局勢，眾人無不感動恐懼。
蔣琬受到提拔重用，地位在群臣之上，但他既不感到憂傷，也不覺得喜悅，神態舉止完全和平時一樣。
因此，眾人就逐漸對他感到佩服和認可。
延熙元年（公元238年），蔣琬率大軍北上防備曹魏入侵，駐扎在漢中。
次年三月，后主劉禪擢升蔣琬為大司馬，并下詔給蔣琬，命他開府治事。
大司馬府的東曹掾楊戲，生性高傲而不講禮節；
蔣琬平常和他談論事情，他經常故意不回答。
有人因此想陷害楊戲，對蔣琬說楊戲怠慢于上級，應該治罪。
蔣琬卻為楊戲說話，認為每個人想法都不一樣，楊戲不回答自己的話，是因為他有不同的看法，
既不愿違背本心表示贊同，又不便公開反駁表示反對，才會默然無語，這正是楊戲的爽快之處。
擔任督農的楊敏曾詆毀蔣琬，說他做事糊涂，不及前任主政的諸葛亮。
有人把這話告訴了蔣琬，督察百官的官員請求對楊敏追究治罪。
蔣琬卻認為自己的確不如前任主政大臣諸葛亮，沒有什么好追究的。
督察百官的官員一再要求，要追查楊敏詆毀蔣琬做事糊涂的言論。
蔣琬還是表示，不必追究。后來楊敏因違反法度被關進監獄，眾人都擔心他必死無疑；
然而蔣琬處理這件事時卻毫無偏見，楊敏得以免判重刑，蔣琬為政時從不因個人好惡偏離正道。
蔣琬認為，過去諸葛亮多次進攻秦川之地，因為道路險陡、運輸艱難，始終未能成功；不如順漢水東下進攻曹魏。
于是下令大量制造舟船，想乘船經由漢水、沔水走水路襲擊魏國的魏興、上庸二郡。
然而，碰巧蔣琬舊病接連發作，他的謀劃沒有得到實施。
而群臣認為，如果走水路東征曹魏，如果不能成功，想要回軍返回就非常困難，不是良策。