武成禅位后，即为太上，仍恩宠于祖珽。拜秘书监，开府仪同三司。然珽犹嫌不足，志在宰辅，遂构陷赵、元、和等。奏疏未上而事泄，赵等先诣于太上，遂召珽诘问。其对答颇为不愉，又情赶心绪，自泄禅代因由，遂引帝不忿极矣。原欲诛之，珽以合金丹得以免死，终流徙光州。
到之流地，为刺史所厚。然别驾潜奏于武成，乃为深牢所锢，并用芜菁子夜夜为熏，终至失明。待武成宾天，后主忆之，得出囹吾。后结陆媪之子穆提婆，遂返中枢，排走赵彦深，至于仆射，秉政执朝，一时无两。
因于私怨，诛国之柱石斛律光，贬高元海等，令齐之祚更为隳堕。然其又想留于正名故稍整于吏治，引穆、陆之不快，故又逐黜于台省，贬于北徐州，另消开府，郡公之名号。真是起起落落，令人无限感慨。
观之过往，三入禁狱。然每次之出，便升一图，顶峰之过，便坠而其下。后竟为国尽忠，守城如坚，不为南寇所取。其心也诚哉！然终不掩其过，光之诛，虽关西间之，实是由他为之。后守坚城，卒于州，仍难赎其过也。