帕绍条约签订以后，查理开始产生一些奇特的想法。对于他的帝国的成就，他感到彻底厌倦，不再抱有幻想。他产生了对欧洲对手的不可遏制的烦躁。他的体质天生不好，天性懒散，并大受风湿之苦。他决定退位。他把全部的德国统治权交给他的弟弟费迪南德，西班牙和荷兰则传给了儿子菲利普。然后，他怀着庄严的理想，到于斯特修道院中过起了隐居生活。该修道院位于塔古斯河谷北面，一个橡树和栗树包围的小山中。1558年，查理死在这里。
对于这次隐退，以及这位疲惫、威严、厌世的伟人放弃世界的权力，有很多伤感的文字，说他想在简朴的孤独中追求与上帝在一起时的平和心境。但相反，他既不孤独也不简朴。他带了近150名随从；他的住处辉煌放纵不亚于皇宫，却没有皇宫的辛苦。菲利普二世是一个孝顺的儿子，对他来说父亲的建议就是命令。
