Предки по материнской линии
Прадед поэта Абрам (Петр) Петрович Ганнибал родился в северной Абиссинии, примерно в 1697/1698 годах. Отец его был местным князьком и находился в вассальной зависимости от турок, которым восьмилетний Ибрагим был отдан как заложник вместе с другими знатными юношами. Мальчика из Абиссинии перевезли в Константинополь. В Россию он попал, когда Петр Великий приказал русскому посланнику достать для него нескольких способных мальчиков-арапов. Посланник хоть и не без труда, но все же исполнил поручение царя. По некоторым источникам, Ганнибал был выкраден из сераля благодаря подкупленному визирю.
Ибрагим был крещен в православие, причем сам царь был его восприемником (от него он и получил свое отчество), а крестною матерью стала жена польского короля. При крещении Ибрагиму дано было имя Петра, но он не хотел расстаться с прежним, и государь разрешил ему именоваться, по созвучию, Абрамом. Когда и почему принял он фамилию Ганнибал, точных указаний не имеется. В течение многих лет он именовал себя просто Абрам Петров, прозвище же Ганнибал закрепилось за ним лишь во второй половине жизни.
Ганнибал был женат дважды. Первым браком он женился на гречанке Евдокии Андреевне Диопер, дочери капитана галерного флота, но этот брак, продлившийся более десяти лет, оказался несчастливым и бездетным. Второй раз Ганнибал женился на дочери капитана местного полка Матвея фон-Шеберха, причем обвенчался с ней еще до официального развода с первой супругой. Вторая жена родила ему 11 детей, из которых сведения сохранились о пяти сыновьях и четырех дочерях.
Родной дед поэта, третий сын Ганнибала Осип (Яннуарий) Абрамович родился в 1744 году. Он служил в морской артиллерии и вышел в отставку в чине капитана второго ранга. Осип женился на Марии Алексеевне Пушкиной, которая родила ему сына, умершего во младенчестве, и в 1775 году дочь Надежду – мать поэта.
Супруги Ганнибалы были весьма несчастливы: прожив совместно с женой около четырех лет, Осип Абрамович сбежал от нее и, служа во Пскове, сошелся с помещицею Устиньей Ермолаевной Толстой, причем обвенчался с нею, дав священнику фальшивое свидетельство в том, что он вдов.
Поступив так легкомысленно, Осип Абрамович, с не меньшей опрометчивостью, дал Устинье Ермолаевне «рядную запись», в которой расписался в том, что получил от нее приданого на 27 000 с лишним рублей.