Отец поэта умер тридцати шести лет, когда госпоже Байрон исполнилось двадцать шесть лет. Невзгоды и семейная жизнь и нездоровая наследственность сделали госпожу Байрон крайне раздражительной, а в порыве гнева доходящей до исступления. Нечто похожее на утробный паралич поразило сына, когда она бежала из Парижа в Лондон. Мальчик появился на свет хромой. Он прихрамывал всю жизнь той незаметной хромотой, которая субъективно переживается гораздо сильнее, нежели бросается в глаза постороннему наблюдателю. Мать деятельно стремится воспитать сына, но слишком многие обстоятельства колеблют ее семейный авторитет. По каждому поводу госпожа Байрон поднимает крик, сбегаются соседи, но это не прекращает воплей. Все более и более повышая голос, госпожа Байрон называет сына «выродком». Не стесняясь присутствием посторонних, она то и дело кричит, что леди Коньерс была «разводкой», что она бессовестно обманывала мужа. Родственники отказываются платить долги Джона Байрона, который «прокутил состояния двух жен и угрожает спокойствию всех родных». Дядя отца, лорд Вильям Байрон, не желает знать ни второй жены своего племянника, ни ее сына.
Все письма говорят о нищете. И ни намека на законность венчания деда его, «капитана бурь». Байрон слышал неоднократно, что Foulweather Jak был «беспорядочным человеком на суше и на море», может «действительно он не венчался с мисс Треварион», и тогда прощай политическая карьера поэта и лорда. Но если нет никакого намека в переписке отца, то, быть может, есть какие-нибудь указания в архиве дяди отца – Вильяма Байрона? Вот большие пергаменты, вот голубые кожаные портфели, но и в них ничего нет. Нечаянно попавшееся письмо из Франции, в котором отец дает едкий отзыв о характере матери: «она мила, но ни апостолы, ни ангелы не прожили бы с ней и двух месяцев, только я один мог выдержать это испытание». А вот перехваченное матерью письмо, в котором сын в письме к Августе упрекает мать за «неудержимую склонность к скандалам» и за то, что она не довольствуется в гневе словом «хромуша», но перечисляет все «преступления Байронов, совершенные от Вильгельма Завоевателя до наших дней». Портфели лорда Вильяма Байрона не содержат документов о дедовском венчании, но зато действительно похожи на скандальную хронику. Вот судебные папки лорда Вильяма Байрона. Нелюдимый и мрачный старик, однажды потеряв рассудок от неимоверного количества алкоголя, поссорился со своим родственником Чавортом и вынудил его принять такие условия дуэли, которые были похожи на убийство. Чаворт умер от раны. И только звание пэра Англии спасло лорда Вильяма. Он избег тюрьмы, но был исключен из палаты лордов и на всю жизнь удален в Ньюстед. Он ведет в родовом замке пьяный образ жизни. Он обижает окрестных жителей и слышать не хочет о маленьком Байроне. «Злой лорд», – эта кличка недаром бросалась вдогонку лорду Вильяму.