Харальд намеревался пресечь все попытки представителей семейства Этельреда захватить власть и на какое-то время преуспел — англосаксонская аристократия признала его своим королем. Королева Эмма отправилась в изгнание, избрав местом своего пребывания Фландрию. Видимо, ненависть, которую она питала в отношении своих сыновей от первого брака, отвратила ее от родной Нормандии. Несмотря на двусмысленность отношения Эдуарда к своему брату (невольно напрашивается вопрос, не был ли он замешан в предательской интриге Годвина), события вынуждали этого претендента на английский престол еще больше крепить связи с нормандским двором.
А в самой Нормандии смута только нарастала. Как раз в это время из Испании вернулся уже известный нам Роже де Тони — пожиратель мавров. Он был потомком самого Роллона и не собирался подчиняться унизительной, на его взгляд, власти. Узнав, что покойный герцог навязал баронам своего бастарда, сына Арлетты из Фалеза, он решительно сказал: «Нет!» В поведении Роже не просматривалось какого-либо политического направления, он просто-напросто воспользовался случаем, дабы сбросить с себя ярмо герцогской власти, опять почувствовать себя независимым хозяином своей судьбы. Он обосновался в своих владениях, приступил к строительству Коншского аббатства и принялся грабить домены своих соседей. В очередной стычке он нашел свою погибель — и не в одиночку, а вместе с обоими своими сыновьями. Те же бесчинства творились и в Беллеме, где старому Гильому наследовал младший сын, тоже Гильом, тщедушный, трусливый, но коварный, безумной жестокостью превосходивший даже своего отца. Пресытившись законной женой, он велел убить ее прямо на улице и тут же задумал жениться снова. Пригласив на свадьбу своего соседа Гильома Фиц-Жере, он приказал схватить его, выколоть глаза и отрезать нос, уши и детородный член, после чего несчастный укрылся в аббатстве Бек, предоставив своим родственникам совершить акт возмездия. Однако трусливый Беллем, уклонившись от сражения, бежал. В один прекрасный день против него взбунтовался собственный сын, который вскоре сам был убит своим братом. Месть следовала за местью, пока в живых не осталась одна только дочь Мабиль, в которой криминальные наклонности представителей сего рода развернулись в полной мере. Из всего семейства один только Ив, епископ Се, пользовался репутацией добродетельного и образованного человека. Как-то раз трое баронов-разбойников, братья Сорен, разграбили его диоцез, захватили Се и устроили в кафедральном соборе конюшню. Ив сумел отвоевать город, осадил братьев Сорен в церкви и, не имея иной возможности добраться до них, велел сжечь их заживо...
Раздираемая внутренними распрями, Нормандия была легкой добычей для внешних врагов. В 1040 году герцог Бретани Ален III перешел пограничную реку Куэнон, используя в качестве надуманного предлога то, что Роберт Великолепный будто бы назначил его опекуном своего сына, тогда как Жильбер, а затем Рауль узурпировали это поручение, и теперь он лишь требует причитающееся ему по праву. Он вторгся вглубь нормандской территории и осадил Вимутье, но в ходе осады, в октябре, его настигла внезапная смерть — скорее всего, в бою, но, как обычно, прошел слух, что его отравили. Похоронили его в Фекане, поскольку по женской линии он был дальним родственником герцогского семейства Нормандии. Он оставил лишь одного законного сына, еще младенца, по имени Конан. Его брат Эон де Пентьевр объявил себя опекуном ребенка, изгнав вдову герцога Берту, дочь Эда де Блуа, которая нашла убежище у графа Мэна, за которого впоследствии и вышла замуж. Видимо, тогда монахи аббатства Мон-Сен-Мишель и заказали специальный колокол, предназначенный для того, чтобы подавать нормандцам на приграничных территориях сигнал о приближении бретонских отрядов.
Поучаствовал в междоусобных сварах и король Генрих I: ссылаясь на свое право осуществления охраны владений малолетних вассалов, он потребовал передать ему замок Тилльер-сюр-Авр, в свое время построенный Ричардом II на границе с владениями Эда де Блуа. Королевский отряд уже принялся опустошать окрестности, когда Рауль де Гасе, опекун малолетнего герцога, получил уведомление и приказал шателену Жильберу Креспену сдать замок Тилльер. Однако Жильбер получил свое назначение непосредственно от Роберта Великолепного и, храня верность сеньору, отказался исполнить приказ. Тогда люди короля приступили к осаде, и Рауль де Гасе повторил свой приказ. На этот раз Жильбер Креспен нашел решение, не шедшее вразрез с его совестью: он сдал замок, но не королю, а лично своему герцогу, маленькому Вильгельму; затем уже от его имени Рауль передал замок королю. Надо полагать, Генрих I вдоволь посмеялся над этой комедией, тем более что дело обернулось к его удовольствию. Когда последний нормандец покинул замок, он велел поджечь его и, заняв удобное место, любовался этим зрелищем, трясясь от хохота. Затем он продвинулся вглубь региона Йемуа, предал разграблению бург Аржантан и с добычей удалился восвояси, предварительно распорядившись восстановить, вопреки данному Раулю обещанию, замок Тилльер, отныне обращенный против Нормандии.
Вторжение короля еще больше усилило беспорядок в герцогстве, одновременно обнаружив бессилие Рауля и показав тем, кто еще хранил верность герцогу, тщетность сопротивления. Тутэн Гоз, прево Йемуа, разместил в замке Фалеза, охрана которого была поручена ему, гарнизон из наемников, в большинстве своем французов, и отказался повиноваться Раулю. Почему? Никому не ведомо. Король ли подкупил его или, напротив, Тутэн хотел сохранить замок для юного герцога, предупредив очередную капитуляцию его опекуна? Разъяренный Рауль собрал ополчение и осадил город; под вечер его осадные машины пробили широкую брешь в стене, однако решено было отложить решающий штурм до утра. Ночью Тутэн бежал, отправившись в изгнание, но позднее вернулся и примирился с герцогом.
Вильгельму было тогда тринадцать лет. Он приближался к своему совершеннолетию, в те времена наступавшему в четырнадцать или пятнадцать лет. Он воспитывался вместе с сыном Осберна, тоже Вильгельмом, с которым его связывала тесная дружба. В этом честном и прямодушном мальчике юный герцог больше всего ценил верность, казавшуюся ему в те бедственные времена высшей добродетелью. Его обучение по-прежнему оставляло желать много лучшего, ибо времена не благоприятствовали овладению книжной наукой, зато весьма способствовали физическому развитию. Впрочем, жизненные обстоятельства накладывали свой отпечаток на чувства и мысли Вильгельма. «Он копил в своем детском сердце, — писал Ордерик Виталий, — мужественную силу». Видимо, уже тогда в нем проступали черты человека значительного и вдумчивого, горячего, но не теряющего самообладания, властной личности, которой суждено было ему стать. Он строго судил о своем опекуне, и между ними, видимо, назревал серьезный конфликт. Вильгельм, надо полагать, так и не забыл той ночи, когда Готье, брат матери, выхватил его из залитой кровью постели, на которой умирал Осберн...
Его разлучили с матерью. Вскоре после смерти Роберта Арлетта вышла замуж за доблестного и честного рыцаря — Эрлуэна, сеньора де Контевиля, заботам которого, видимо, вверил ее покойный перед своим отъездом. В этом браке она родила троих детей: сыновей Роберта и Одо и дочь Мюриэль. С этим семейством Вильгельм поддерживал тесные отношения, особенно со своими братьями по матери, которых искренне любил и был схож с ними темпераментом. В страшные годы его детства семейство Эрлуэна и Арлетты, видимо, постоянно отстаивало его интересы, поэтому, лишь только взяв власть в свои руки, он стал оказывать явное предпочтение семье матери в ущерб Ричард идам.
В разгар этих публичных беспорядков в герцогстве стала формироваться «датская партия», противостоявшая «французской». Интриги короля только подогревали этот антагонизм. В 1035—1042 годах открытые мятежи, проявления откровенного бандитизма, измены доверенных лиц герцога случались почти исключительно в Нижней Нормандии и Котантене. Все, что осталось от скандинавских традиций, лишь способствовало переменам, охватившим страну ввиду явной несостоятельности герцогской власти.