1554 г. он повторил свой поход, но с тем же успехом. Тогда он согласился на условия Пассауского мира, которые были утверждены в следующем году на Аугсбургском рейхстаге.

Сам Карл не присутствовал на нем. Германские дела ему опротивели, и он охотно передал их брату Фердинанду. Физические немощи все более преследовали его. Он охладел к мирским заботам и думал о спасении души. Великий пример Диоклетиана, добровольно отказавшегося от власти, все чаще приходил к нему в голову. Осенью 1555 г. Карл вызвал в Брюссель сына Филиппа и торжественно передал ему под управление Нидерланды. В январе следующего года он отдал ему Испанию и Италию. В августе он передал брату Фердинанду Германию. В сентябре он навсегда покинул Нидерланды и отплыл в Испанию, где специально для него был построен в Эстрема-дуре монастырь святого Юста. Карл прожил здесь два года в полном уединении без всякого общества, проводя время в молитвах и занятиях ремеслами. Он ухаживал за своим садом, изготавливал часы и занимался другими рукоделиями. Существует анекдот, вероятно, придуманный, но очень характерный: однажды Карл сделал двое часов и хотел заставить идти их одинаково. Однако, несмотря на все его усилия, часы постоянно показывали разное время. «Я не могу согласить даже двух часов, — воскликнул Карл, — как же я мог мечтать согласовать многие народы, живущие под разным небом и говорящие на разных языках?» В последние дни он впал в совершенное религиозное исступление и даже, по-видимому, в помешательство и умер в сентябре 1558 г. в возрасте 58 лет.