.
Доверенность на представление его интересов при разделе имения после смерти отца «артиллерии полковник Ганнибал» заверял в «Казанского наместничества палате гражданского суда».
С Ольгой Григорьевной П. А. Ганнибал имел троих детей – сына Вениамина и дочерей Христину и Александру. Однако «и сей брак был несчастлив». Прожив с семьей девять лет, Петр Абрамович оставил ее и, по выражению Н. А. Белозерской, «поселился в своем наследственном псковском имении, доставлявшем ему возможность безбедного и праздного существования; здесь он зажил жизнью большинства тогдашних провинциальных дворян».
Предполагали, что разрыв с семьей в это время был связан с его увлечением Надеждой Гавриловной Лихачевой, дочерью небогатого псковского помещика, отставного инженер-поручика Гаврилы Анатольевича Лихачева, доброго знакомца братьев Ганнибалов (именно он представлял интересы и Петра, и Ивана Абрамовичей при разделе имения в 1782 году; через него впоследствии получала от мужа содержание Ольга Григорьевна). Петр Абрамович имел дела и с сыном Г. А. Лихачева Петром Гавриловичем – тогда армейским офицером, а впоследствии генерал-майором, героем Отечественной войны, скончавшимся от ран, полученных в Бородинском сражении.
Из деревни Петр Абрамович послал жене письмо, в котором, по ее словам, сообщал свое «желание», чтобы она «к успокоению его не жила более с ним вместе, а получала бы от него с детьми положенное им содержание». Ольга Григорьевна согласилась и поселилась с детьми в принадлежавшей Петру Абрамовичу мызе Елицы под Петербургом. Но хозяйкой здесь она себя не чувствовала – мызой управлял зять Петра Абрамовича Адольф Карпович Роткирх, который относился к ней недружелюбно, во всем ее стеснял. «Содержание», назначенное ей мужем, было ограниченным, хотя и не вовсе скудным, – она получала ежегодно 500 рублей деньгами и провизию натурой, имела свой выезд; особо оплачивались квартира в Петербурге, учителя для детей и содержание слуг. Это далеко от того полного равнодушия, которое проявлял к оставленной им семье Осип Абрамович.
Ольга Григорьевна соглашалась с таким положением до 1792 года, когда узнала от Ивана Абрамовича, что муж намерен продать мызу Елицы и, отобрав у нее детей, отдать их в «панцион». В январе 1792 года она через Г. Р. Державина, бывшего тогда «секретарем у принятия прошений», обратилась к императрице. Обвиняя мужа в нарушении супружеского долга, перечисляя подробно обиды и притеснения, которым подвергалась, ходатайствовала о наложении запрещения на продажу мызы и оставлении детей для воспитания под ее наблюдением, а также об учреждении опеки, через которую она могла бы аккуратно получать положенное «содержание». Несомненно, она знала о существовании опеки над дочерью Осипа Абрамовича и о том, что ее муж был одним из опекунов.