建武九年（33年），郭皇后已經完全失寵，被劉秀疏遠。尚書令申屠剛在任期間多次諫言讓郭圣通所生的太子劉疆就東宮，卻被劉秀拒絕，并最終把申屠剛貶黜出京。
建武十三年（37年），蜀地平定后，劉秀大封功臣外戚，但其中卻不包括郭圣通的外戚族人，其弟郭況直到建武十四年（38年），才升任城門校尉。
建武十五年（39年），陰氏和劉秀的母族樊氏增封，卻沒有包括郭圣通的弟弟郭況。而劉秀封皇子為公，陰麗華的長子劉陽封東海公，東海國據二十三縣，為諸子之中最大的。郭圣通因為日漸失寵，她的外戚也始終不像陰家兄弟那樣受到劉秀的親信和重用，因此越來越對劉秀感到怨恨和不滿。
建武十六年（40年），劉秀度田，收到一片簡牘，寫到“潁川、弘農可問，河南、南陽不可問”，東海王劉陽在朝堂上當眾揭露，這是因為”河南帝城，多近臣，南陽帝鄉(xiāng)，多近親，田宅逾制，不可為準?！皠⑿阌纱思哟罅硕忍锏暮瞬?，并殺了十余個郡守。在平定了度田引發(fā)的叛亂之后，劉秀將叛亂的魁帥嚴厲處罰，遷往他地，度田成為東漢定制，社會恢復了安定，形成了牛馬放牧，邑門不閉的大好局面。
而劉秀在經過“退功臣進文吏”，削弱了朝堂上功臣的影響力，讓他們安享富貴，不過逢年過節(jié)入朝覲見而已。又經過“雖置三公，事歸臺閣”極大的加強了皇權，將權柄牢牢握于手中。
經過度田，打擊了地方豪強勢力，在度田中殺了不少郡守，震懾了朝堂，在執(zhí)政風格上“嚴猛為政”，做到了“總攬權綱”，此時他已經能夠控制廢后易儲，國本動搖造成的政治影響。
建武十七年（41年），也就是在天下平定四年之后，光武帝決定廢皇后郭圣通，立貴人陰麗華為后。劉秀認為她心懷怨恨，對她性情的評價是像“鷹鹯”、無后妃之德，認為她在自己死后不會善待陰麗華母子；而陰麗華是原配，與自己情深意重，應該侍奉宗廟，居國母之位。
因此在國家政局穩(wěn)定之后，便開始行廢立之事。西漢廢后之后立新后，間隔少則半年，多則兩年，但因郭圣通生有五個嫡子，郭圣通被廢之后，劉疆仍然可以以長子身份合法居于太子位之上。為了解決這個問題，劉秀將廢立皇后同時進行。并強調因皇后失德而導致中宮異位，進而致使國本動搖，是異常之事，不是國家之福，因此不得慶祝。將廢后引起的政治動蕩減到了最小。
教導太子讀書的郅惲小心翼翼的在大殿之上替郭圣通說了一些勸諫劉秀的話。他說：“臣聽說夫婦之間的感情，連兒子都無法干涉父親，何況臣下怎么能干涉君王呢，這是臣下不敢說的。即便如此，希望陛下衡量事情輕重，不要違背父子人倫，不要讓天下人橫加議論，劉秀說：“郅惲善于用自己的心去體諒主上的心思，他知道我一定不會有失偏頗而忽略國家大事。”這里，劉秀說郅惲最能體諒自己，并保證以后不會因此影響輕慢國家大事。
君臣父子乃人之大倫，鑒于西漢易儲多次發(fā)生父子相殘的慘劇，郅惲最擔心的也是這種事情在皇廷重演，于是用武丁、尹吉甫這等賢君名臣因娶后妻，放逐前妻之子的例子，勸劉疆主動讓位。
郭圣通因過失遠遠小于前代廢后，在被廢之后即被封為中山王太后，移居皇宮北宮居住。劉秀給了郭氏一個“王太后”的身份而不是將她廢為庶人，并且給其娘家諸人封侯，賞賜他們大批金錢，親自蒞臨郭府，后來又給郭圣通的兒子們增封。一來，郭氏家族在劉秀即位之初有從龍之功，身為外戚謹慎小心十余年，郭圣通也誕育皇家子嗣，對皇室宗族有功，行為上并無嚴重過失，劉秀是歷史上著名的善待功臣、心胸寬廣之人，甚至自己殺兄仇人更始帝的三個兒子都冊封為侯，自然會對郭圣通和郭家格外厚遇，二來他接受了郅惲的進諫，盡量減少廢后異儲的負面影響，做到“無令天下有議社稷”。
詔書一下，導致郭圣通所生的長子劉疆一下子由嫡長子變成了庶長子，而劉陽則由庶子變成了嫡長子。此時嫡庶異位，他在太子位上便名不正言不順了。劉疆因此十分不安，聽從了郅惲的建議，多次上書表示要讓出太子之位。