漢昭帝年輕時，霍光“初輔佐少爺，主理自己的事情”。這無可厚非，也是漢武帝的遺命和囑托。隨著時間的推移，趙涵皇帝長大了，他壹定想收回他的權力。霍光還不回衙門，這就沒道理了。忌憚霍光對漢朝的忠心，更忌憚他在朝中的根基和影響力，趙涵皇帝知道自己打不過霍光，只能繼續坐在龍椅上做壹個類似玩偶的傀儡皇帝，這讓趙涵皇帝覺得很憋屈，很有才。至於班固的“小昭任用霍光，各得其時”之說。太棒了！”，不過是韓的無奈之舉罷了。
除了皇權的衰落，趙涵皇帝在私生活上也受到了霍光的極大限制。當趙涵皇帝九歲時，他“穿了壹個淋浴池，走了壹千步.他命令文子做壹條船，木蘭做壹條船.他在最後壹幕忘記返回，甚至徹夜未眠”，這讓從小在深宮中長大的趙涵皇帝玩得不亦樂乎。可惜好景不長。“年底的時候，有很多反對者。故省奢徜徉，毀池，毀舟，隨時毀之。”趙涵皇帝只好作罷。霍光是唯壹能引起群臣掃皇帝興的人。此後十幾年，直到去世，漢昭帝再也沒有感受到“快樂萬歲”的快感。
霍光的專制權力，除了限制趙涵皇帝的發揮外，甚至還幹涉皇宮的事務。十二歲時，漢武帝成親，立上官桀的兒子上官安的女兒，霍光的孫女，年僅六歲的上官石為皇後。盡管有很多人為因素，但這畢竟是壹場政治婚姻，也是上官皇後被忽視的根源。後來上官桀父子謀反失敗後，被霍煮、胡謅殺死，宗族被滅，涉及範圍很廣。因為“皇後太年輕，不能有和孫子壹樣的想法，所以不得不廢”。雖然上官皇後沒有被廢，但經過這次變故，趙涵對皇後越來越冷漠，流露出對霍光的不滿。
上官皇後畢竟是霍光的孫女，而且是後宮之首。霍光出於私利，說：“要想皇後好寵孩子，就不能進後宮。”，意思是霍光為了讓自己的孫女得到特別的寵愛，增加懷孕的概率，禁止後宮的嬪妃進入皇宮。關於這壹點，漢書_五行誌也記載了，“妳有了妳渴望的兒子之後，妳被禁止進入後宮，只有皇後睡覺”，和皇帝睡覺，為皇帝傳宗接代，成為皇後壹個人的專利。其他所有的妃子都靠邊站。
為了保證上官皇後不放縱懷孕，防止趙涵皇帝隨意與其他妻子發生性關系，霍光幹脆耍了壹個花招。“雖然宮人總是交窮朋友，但要多帶”。差褲，類似現在的褲子形狀，就是開襠褲；多帶，即多帶纏繞。至於貧窮，唐代語言學家顏師古說：“貧窮有前後腿，禁止有交通。”這樣壹來，漢昭帝就不能為所欲為了，哪怕是愛男愛女。花不能摘，欲望不能放。每天只能和毫無感情甚至厭惡的上官皇後背靠背。漢高祖趙迪的心情和處境可想而知。
想當官，不能當官，不能玩，不能和老婆們交好運。漢高祖趙迪在權力、遊戲和性趣方面受到權臣霍光的嚴格限制。可以沒有樂趣，但作為皇帝，沒有實權是大恨；作為壹個正常男人，沒有女人來反抗也是大恨。這樣的
壹個朝氣蓬勃的年輕皇帝，只用了三年時間，就倒在了病床上。原因是權臣霍光“死於周公之德，統治九年，長於周公，加冕而不歸政”，無恥地幹涉和限制皇帝的私生活，使皇帝苦不堪言，怨天尤人，又氣又想哭，最後病倒了。漢昭帝看似猝死，實則有壹個漫長的煎熬過程。他因為處處受制於霍光，長期抑郁憋屈而死。可以說，趙涵是中國歷史上最冤枉的皇帝。