Диспенсер-старший выполнял важные дипломатические поручения короля, выезжая на переговоры к европейским суверенным властителям и папе римскому. Он был довольно состоятельным человеком, отягощенным семьей из двух сыновей и нескольких дочерей. Согласно английским законам, его сын-первенец мог рассчитывать на вступление в наследство только после смерти отца. Поэтому Хью-младший был лишен доступа к отцовскому состоянию и вынужден ограничить расходы своей быстро увеличивавшейся семьи 200 фунтами в год, выдаваемыми отцом. Текущие издержки далеко превышали эту сумму, и сыну, принятому при дворе, пришлось жить не по средствам.
Возвышение Хью-младшего началось в 1318-м, когда он был назначен гофмейстером короля, т. е. получил свободный доступ к монарху. Эту привилегию он использовал исключительно во благо себе, ибо совершенно не интересовавшийся вопросами управления Эдуарда II с удовольствием препоручил ему ведение всех дел. С тех пор Хью называли не иначе как «правое око короля». Тут следует отметить, что Пьера Гавистона привлекало только привилегированное положение королевского фаворита с получением подарков и близостью к особе монарха. Диспенсеру же нужна была именно власть над королевством. Он тут же выказал «невиданные жадность, стяжательство, гордость и высокомерие». Личный доступ к королю теперь был открыт только через него, за что ему платили либо деньгами, либо дорогостоящими подарками. Современники таким образом описывали отношение к нему Эдуарда II: «король нежно любил его всем сердцем и разумом, превыше всех других». Уверенный в фаворе короля, Хью делал все по своему выбору, хапал все, не склонялся ни перед чьей властью. Уже в ноябре 1318 года от двора были удалены все три фаворита, несколько дольше всех продержался сэр Роджер д’Эмори, но гофмейстер отделался и от него, невзирая на то что их жены были родными сестрами. Сам он поспешил обзавестись знатной родней, выдав старшую восьмилетнюю дочь Изабеллу за 7-летнего сына влиятельного графа Эрендла[8].
Здесь уже упоминалось о том, что Гавистон был предельно учтив в отношении королевы Изабеллы и не пытался сеять раздор между нею и мужем ни политически, ни на основании личной неприязни, ни на сексуальной основе. Диспенсер же после рождения последней дочери королевской четы Джоанны в 1321 году стал настраивать Эдуарда против супруги именно в сфере сексуальной жизни. Помимо этого, он практически лишил ее денежного содержания, отобрал дарованные ей замки и, самое ужасное, детей.