Вскоре после неудачного визита Уда, он двинулся по своему скорбному пути на Запад, сопровождаемый вооруженным эскортом.[134] Он был принужден сразу же расстаться с большей частью своей семьи. У Митидзанэ было двадцать три ребенка (немалое количество даже для самого убежденного конфуцианского патриарха), и, дабы предотвратить любую опасность с этой стороны, Фудзивара приказали задержать в столице его жену и дочерей, а сыновей снять с официальных постов и удалить в деревню. Только двум младшим его детям было разрешено сопровождать отца в ссылку, и им он адресовал следующую поэму о непрочности мирского успеха. Хотя она предназначалась «для успокоения моего маленького сына и дочери», языком для поэмы был избран классический китайский, что должно было несколько ослабить утешительное воздействие на детей:

Фудзивара так организовали изгнание Митидзанэ из столицы, что тот не имел ни малейшей возможности попрощаться со своим ближайшим другим — экс-императором; прибыв на место ссылки, он написал Уда тоскливое стихотворение о своем отъезде из столицы:

Ему, однако, удалось попрощаться со своим сливовым деревом.[136] Одна из самых впечатляющих сцен на свитках-картинках XIII века, изображающих жизнь Митидзанэ, показывает побежденного героя, сидящего на веранде своей резиденции в Пятом Округе и в последний раз вглядывающегося в свое любимое сливовое дерево, недавно покрывшееся белыми цветами.[137] Именно это дерево он описывает в своем китайском дневнике («Записки из моей библиотеки»), написанном в счастливые дни пребывания в должности Тайного Советника: «Рядом с воротами [в сад] растет сливовое дерево. Каждый раз, когда оно расцветает, каждый раз, когда ветер доносит до меня его аромат, его цветение смягчает и лелеет мой дух…[138]» Митидзанэ упомянул это дерево в самом знаменитом из своих стихотворения, написанных после удаления от власти:

По поверьям, преданное сливовое дерево не только послало Митидзанэ свое драгоценное благоухание, но вырвалось из земли и пролетело весь путь до Кюсю, дабы соединиться со своим несчастным хозяином в изгнании. Известное под названием «Тобиумэ» («Летающая Слива»), это дерево все еще гордо растет рядом с храмом Дадзайфу в месте ссылки Митидзанэ, окруженное тысячами других деревьев, посаженными почитателями в его честь.

Жилище губернатора в Дадзайфу, приблизительно в пятистах милях к западу от столицы, располагалось в грубой, отсталой части страны, полностью изолированной от культурной деятельности центра жизни хэйанской аристократии. Для такого ученого благородного происхождения, как Митидзанэ, оно должно было представляться чем-то вроде Сибири; наверное, было действительно горько понимать, что долгие годы службы при дворе должны окончиться назначением в такое место.[139] Официальная резиденция — обветшалое строение с протекающей крышей и прогнившими полами, являла собой грубый контраст патрицианскому особняку в Пятом Округе. Должность сама по себе не требовала никаких официальных действий или усилий и, хотя власти вежливо прикидывались, что сосланный занимает высокий пост («наводящее ужас» губернаторство соответствовало третьему рангу в придворной иерархии), он фактически находился в заключении.

Мало что известно относительно жизни Митидзанэ в последние годы в ссылке. Он страдал от «бери-бери» и желудочных болезней, и жене приходилось посылать ему лекарства из столицы, поскольку в диком краю на Кюсю невозможно было ничего достать. Смерть его маленького сына вскоре по прибытии еще более усилила страдания Митидзанэ. По преданию, он находил некоторое успокоение, взбираясь на Тэмпайдзан — близлежащий холм, где, обернувшись на восток, возносил молитвы о благоденствии императора, который вверг его в немилость. На свитке изображен герой, стоящий на вершине холма (приобретшего очертания крутой китайской горы) и смотрящий в направлении столицы. Он одет в черные придворные одежды с элегантными малиновыми линиями; на нем остроконечная лакированная шапка, возвышающаяся над округлым, белым лицом-тыковкой. Он торжественно держит перед собой бамбуковую палку с привязанным к ней документом, где изложена его версия составления обвинений, использованных для его высылки. У подножия холма пасутся два пятнистых оленя, и один из них с удивлением смотрит вверх на странную одинокую фигуру на вершине.

Митидзанэ воспользовался своим вынужденным бездельем для составления последнего сборника китайских стихов, включавшего несколько меланхолических строф типа нижеследующих:

Второе из этих стихотворений послужило сюжетом для одного из изображений на свитке. Мы видим Митидзанэ, почтительно сидящего напротив желтой лакированной коробки, декорированной черными хризантемами, указывающими на то, что это — императорский подарок; в коробке лежит аккуратно сложенное красное придворное платье, напоминающее ему о лучших днях.