现在如果将李严跟苟安一起处理，李严又会推脱讲他没有让苟安在路上喝酒而耽误军务的呀。再说李严又是旧西蜀籍官员的代表人物，若诸葛亮平白无故的杀了李严，那些旧西蜀籍的官员就不放过诸葛亮的，他们会起来起哄，要求刘禅革掉诸葛亮的丞相职位。只要有人起来反对他诸葛亮了，就会有很多人跟着起来闹事的。那样的话，他诸葛亮的政治生涯就结束了。
诸葛亮心想，现在是不能杀苟安的。于是他就接受杨义的意见，免苟安一死，命令武士给苟安松绑，打他80大板后就放了他。
诸葛亮放了苟安不几天，就有使者到祁山军营，叫诸葛亮接诏。
刘禅下诏说：“朕有机密事，必须与丞相面谈。”
将在外，君命所不受。诸葛亮是在朝中专权，要是诸葛亮还有足够的军粮的话，刘禅就是下12道金牌，他也不会去的，但是现在正是军粮缺乏，他正找借口撤军，有皇上的诏命，真好给他提供接口了。于是他接了诏，就马上下令，班师回朝。
姜维劝说：“丞相，我军刚打了打胜仗，正好乘胜追击，为什么要撤军回去？”
诸葛亮假装仰天长叹说：“唉，主上年幼不懂事，被身边的侫臣进谄言，才下诏叫我回去的。这时正是我要建功的时候，我哪里舍得撤军回去的呢？但是皇上有诏来叫我回去，我不回去嘛，就是欺主。”
诸葛亮利用使者的话，来掩盖他军中缺粮的缘故。他也懂得，必有人在挑拨刘禅跟他的关系，刘禅不信任他，才叫他回去的。他也猜那个人可能就是李严。因为他打了苟安，等于打了李严的狗。打狗看主人，他就是没有看李严的面子，就处罚了苟安。这样李严怎么不恨他的呢？在朝中，只有李严才能直接去跟刘禅汇报情况的。
诸葛亮猜测没有错，正是李严听到了诸葛亮严厉处罚了苟安，他就造谣讲诸葛亮想谋反当皇。于是刘禅才下诏叫诸葛亮回去。
诸葛亮率大军回汉中之后，他就马上回成都，家还没有回去，就先到宫中去见刘禅，当着很多的官员，诸葛亮责问刘禅，为什么叫他回来？
诸葛亮这样的态度，那是臣子跟皇上说话的呢？简直就是一个父亲对儿子的审问。
刘禅怕得不敢说李严讲过的话，只好吞吐的说：“朕好久不见到相父了，心里非常的挂念，才叫相父回来的。”
诸葛亮生气的说：“老臣就是受到先帝的厚恩，才是以死相报，今天若有ji臣的话，老臣怎样能安心去太贼的呢？”
接着诸葛亮就叫众宦官来拷问，才知道谣言是苟安造出来的。
但是诸葛亮心里还是不相信是苟安造谣。因为苟安不能从前线回来得这么早的。这肯定是有人先在后方造谣了，才把责任推给不知去向的苟安。当然诸葛亮也懂得，造谣的人就是李严，但是李严是托孤大臣，所以就没有人敢出来揭发他的了。也有人就是想看诸葛亮跟李严相斗的热闹。
诸葛亮找不到苟安，就把刘禅身边的宦臣杀了几个，以此来警告那些想跟他作对的人。
接之后，诸葛亮又叫来了蒋琬、费炜，大骂他们两个不中用，守在刘禅身边，就是察觉不出是谁先造谣的。
诸葛亮大骂一番之后，他觉得他撤军的理由已经有了充分的了。
诸葛亮回到家后，他就想如何将李严干掉。他终于想出了一个办法来了，那就是给李严下达征集军粮马草在增加一倍。这样李严要是没有完成的话，他就将李严处罚。
后人有诗云；
孔明累次出祁山，
国库钱粮快用光。
连年北伐无战果，
穷兵黩武国运伤。