В 1803 году на Гибралтаре, где Эдуард занимал должность губернатора, вспыхнул мятеж. Со строгостью герцога еще можно было как-то смириться, но когда он начал закрывать питейные лавки, солдаты решили, что с них хватит. Вести о бунте донеслись до Англии, и герцог Йоркский, в те годы главнокомандующий армии, отозвал Эдуарда восвояси.
Злорадству брата не было предела. Он присовокупил, что вся карьера Эдуарда «от начала до конца была отмечена бессмысленной жестокостью и насилием». Домой герцог Кентский вернулся как оплеванный.
Вместе с тем у Эдуарда были свои достоинства: он был умен, ценил музыку, мог поддержать любую беседу. По прибытии в Англию герцог взял под свое крыло целых 53 благотворительных общества и, к досаде братьев-тори, впал в либерализм. Ярче всего душевные качества герцога проявлялись в отношениях с любовницей. На публике она была известна как «мадам де Сен-Лоран», в семье – как «француженка Эдуарда».
По слухам, она была аристократкой, которую герцог умыкнул из семьи, а на самом деле – дочерью простого инженера. Веселая и покладистая, Джулия де Сен-Лоран кочевала с герцогом с места на место, довольствуясь статусом содержанки. О большем не смела и мечтать.
В награду за постоянство Эдуард снял для нее роскошный особняк в Найтсбридже, куда наведывался из своего имения Кэстл-Хилл-Лодж. Новое имение олицетворяло его любовь к порядку. Камины зажигали строго в 5 утра, армии садовников поднимала каждый опавший лист с безупречно подстриженных лужаек, конюшни были вычищены до блеска. Внутри дом заполонили причудливые механизмы: тикали музыкальные часы, заливались трелями механические соловьи, по комнатам бесшумно сновали слуги, тоже похожие на заводные игрушки.
Содержание усадьбы было затеей дорогостоящей, о чем герцогу довольно скоро напомнили банкиры. К 1807 году его долги перевалили за 200 тысяч фунтов, а в 1815 впору было заявлять о банкротстве. Эдуарду пришлось передать три четверти своего имущества кредиторам, а самому потуже затянуть пояс. В 1816 году Эдуард вместе с Джулией уехал в Брюссель, один из самых дешевых городов Европы, но даже там заботы о хлебе насущном не давали герцогу покоя. Восстановить финансы могло лишь одно – женитьба. В таком случае герцог мог потребовать от правительства годовое содержание в 25 тысяч фунтов. Ровно столько получал герцог Йоркский за подобие брака с принцессой Фредерикой.