С октября 1780 по июнь 1781 года он пребывал в Сарагосе, куда его пригласили для росписи купола El-Pilar-Kathedrale. На время проживания в родном городе ему было необходимо пристанище, примыкающее к городскому совету. Он возложил исполнение этой задачи на прислугу своего друга Сапатера. Его пожелания были более чем скромные: «Мне нужно немного мебели; мне кажется, что достаточно будет эстампа с изображением Святой Девы, стола, пяти стульев, сковородки, бутылки с вином, гитары, духовки и свечей — все остальное будет лишним». В процессе этой работы скрытый раздор между Гойей и его шурином Байеу перерос в открытый скандал. Последний официально контролировал художественное оформление обоих куполов кафедрального собора и занимал руководящее положение, и Гойя ощутил себя только «простым подручным и оплаченным служащим» своего шурина. Особенно это проявилось в связи с исключением его из членов академии, и он пришел к выводу что наконец может освободиться от попечительства брата собственной жены, которое для него было тяжким бременем, и он бесцеремонно отклонял все его наставления. О том, насколько оскорблено было его чувство собственного достоинства, говорят некоторые выражения в письме Сапатеру. Его дальнейшее сотрудничество оказалось бы под вопросом, если бы в дело не вмешался его богатый друг из Сарагосы, купец Хуан Гойкох, внучка которого позже вышла замуж за сына Гойи Хавьера. Таким образом, предписания Байеу оставались без внимания и Гойя выполнял свою работу, отдаваясь полностью свободному движению кисти и своему пристрастию к цветам. Не удивительно, что Байеу со своими коллегами, имевшими академические установки, противились этому.
В июле 1781 года Гойя вновь появляется в Мадриде. Ему показалось, что здесь его не ждет ничего хорошего и его существование в опасности. Итак, нет ничего удивительного в том, что глубокое чувство подавленности овладело им и усиливалось из-за воспоминаний об интригах его коллег в Сарагосе. В письме к Сапатеру он выразил сожаление о своей судьбе очень горькими словами. Забросив кисти, он стал полностью посвящать себя обществу любимых друзей, предаваясь «истинным своим страстям, а именно охоте и шоколаду». Этот серьезный критический период был им преодолен, когда в октябре 1784 года на открытом конкурсе он смог одержать победу над многими своими соперниками и уже в июле 1781 года приступил к исполнению заказа на огромную картину для церкви Сан-Франсиско эль Гранде в Мадриде. Однако эта картина, изображавшая «Проповедь святого Бернандино из Сиены Альфонсу V, королю Арагона», не соответствовала тому высокому качеству, которым отличались его работы, выполненные для кафедрального собора Pilar Kathedrale и Aula Dei, возможно, потому что он еще находился под сильным впечатлением случившегося в Сарагосе. В эти неспокойные и малопродуктивные годы, когда он работал над исполнением официального заказа, появлялись и другие картины, большая часть которых утрачена. Исключение составляет лишь знаменитый портрет графа Флоридабланка, созданный в 1783 году и сыгравший в жизни художника второстепенную роль. Тот год принес Гойе несколько счастливых недель, когда он, последовав приглашению инфанта Дон Луиса де Бурбона (брата короля Карла III), прибыл летом в его резиденцию Arenas de San Pedro. Жизнь королевской семьи стала для него новым миром, который неожиданно открылся его взору и очаровал: «В течение месяца я был постоянно около Их Высочеств», сообщал он с наивной гордостью, подобно тому, как он писал в 1779 году о своей аудиенции у Карла III. Ему хотелось нарисовать не только инфанта и его жену, но и дочку Доны Марии Терезы, которой исполнилось почти три года. Позже она стала графиней Чинчон и несчастливой супругой Годоя, портрет которой Гойя нарисовал еще раз в апреле 1800 года. Прощаясь с ним, они настаивали на его возвращении, о чем он, преисполненный гордости, сообщал своему другу Сапатеру: «Мой отъезд вызвал такое сожаление, что мне пришлось их заверить, что по меньшей мере один раз в году я их буду навещать. Если бы я мог тебе все рассказать, что там приключилось, то наверняка ты был бы доволен, но я не могу этого сделать, потому что совершенно разбит долгой поездкой в карете». Эти письма к Сапатеру дышали умиротворенностью, что указывает нам на то, с каким прилежанием и усердием Гойя рисовал в то время свои картины. Красноречивым свидетельством этому были строки, сделанные на обратной стороне портрета Дон Луиса: «… нарисовал между 9 и 12 часами пополудни 1-го сентября 1783 года».
Протекция инфанта Дон Луиса открыла перед Гойей двери высшего аристократического общества Мадрида и была собственно началом его восхождения к славе. Казалось, все изменилось к лучшему: торжественное открытие фресок в церкви Сан-Франсиско эль Гранде неожиданно для него принесло грандиозный успех. Король не только прибыл в сопровождении двора, но и присоединился к всеобщим похвалам, потому что речь шла о тех самых фресках, которые запечатлели прекраснейшие картины эпохи. Период безрадостных лет закончился, и перед ним замаячили обнадеживающие перспективы. «Я был очень угнетен, но Бог послал мне вновь бодрость духа», — облегченно писал он Сапатеру и присовокупил следующее: «Я доволен своими доходами так, как ими может быть доволен счастливый человек».
В то время состоялось очень важная для него встреча с Гаспаром Мельчором де Ховельяносом. Этот государственный деятель был писателем и ученым, выдающимся представителем испанского просвещения, и одновременно покровителем культурной жизни Астурии. В 1784 году Гойя должен был выполнить заказ для его коллегии в Саламанке, а годом позже то же самое для банка в Сан-Карлосе. Ховельянос установил также контакт между важнейшими деятелями испанского просвещения — illustrados — и Гойей, которые при правительстве Карла III проводили осторожную политику реформ. Но все-таки невозможно себе представить, что Гойя, получивший относительное образование, мог быть допущен к дискуссиям, проходившим в элитарных кругах. Главным для него было то, что эти люди признали и оценили его как художника. Аналогичное значение имела для Гойи его творческая деятельность в испанских дворянских кварталах, а именно работа, заказанная герцогом Осунаским. Всего за один портрет герцогини и изображение ее семьи Гойя получил гонорар в 12 тысяч реалов, что соответствовало его годовому доходу. Кроме того, герцогиня, осыпая его почестями, оказала ему протекцию в получении других заказов. В 1785 году Гойя выполнил и очень скромный заказ временно исполняющего обязанности руководителя класса Академии в Сан-Фернандо.
В том же 1785 году он наконец получил почетный заказ — нарисовать портрет короля. Как всегда в таких случаях, он отобразил Карла III таким, каким увидел его в действительности: уставшим, преждевременно постаревшим, со сгорбленными плечами, худым лицом, без зубов и кривоногим, а также с «шеей общипанной птицы». Но все-таки талант художника превратил изображаемую модель в шедевр искусства и наградил всемогущего монарха миролюбивыми чертами человеческой сущности. После возобновления деятельности на королевской мануфактуре Гойя получил титул «художника короля». То, как он отнесся к этому успеху, свидетельствует письмо, наполненное радостным содержанием, направленное к Сапатеру в великой спешке в июле 1786 года: «У меня действительно нет времени, чтобы тебе рассказать о том, как король дал поручение Байеу и Мэйллу найти двух художников, которые были бы лучшими из лучших, для того чтоб они смогли набросать маслом в фреске образец ковра ручной работы, который затем будет помещен во дворце. Ты должен знать, что Байеу предложил своего брата, а Мэйлла решил привлечь меня. Их выбор был передан королю и он, я это не знал, решил оказать мне милость и выбрал меня… Мартин, сейчас я художник короля с доходом в 15 тысяч реалов!» В этом случае миролюбивые заявления двух шуринов оказались излишними. Гойя не забыл свою обиду на Франсиско Байеу и нарисовал его портрет, который стал истинным шедевром искусства, — он косвенно «отомстил своему интимному врагу, вырвав его имя из забвения».