Были у канцлера две главные страсти: карточная игра и женщины.
Безбородко проводил за зелёным сукном целые ночи напролёт, проигрывая своим партнёрам астрономические суммы денег. А романы у Александра Андреевича были почти со всеми столичными актрисами, причём, увы, неудачные. Он до конца жизни оставался холостяком. Екатерина была вынуждена вмешиваться в его сердечные дела.
Он волочился за итальянской актрисой и певицей Давиа, которая обожала хлестать поклонников по лицу, и подарил этой истеричке драгоценностей на 500 тысяч. Государыня лично выслала из столицы эту самую Давиа, которой Безбородко подарил 40 тысяч рублей. Екатерина обвенчала актрису Угарову с её театральным партнёром, когда узнала, что Безбородко просто потерял из-за неё голову. Танцовщица Маврушка, на которую он потратил двадцать тысяч, предпочла ему красавца графа Алексея Орлова-Чесменского.
Безбородко не чурался визитов и в непристойные заведения: «Каждую субботу, – писал Николай Греч, – после обеда надевал он синий сюртук, круглую шляпу и клал сто рублей в карман. Вооружённый таким образом, посещал он самые неблагопристойные дома». Сам Безбородко объяснял свое «хобби» так: «Я для того люблю девок, что имею власть их переменять, чего мужья с женами своими делать не могут, хотя и знают, что они б…».
Самую продолжительную связь Безбородко имел с актрисой О. А. Каратыгиной. Она оставила сцену и в 1790 году поселилась в его доме. Родилась дочь Наташа, горячо любимая отцом. Он дал ей прекрасное воспитание и образование, обеспечил богатым приданым и выдал замуж за гвардейского полковника.
Князю Виктору Кочубею, своему двоюродному брату, она писала: «О сем священнейшем для меня имени я не могу слышать равнодушно, и по мере моего возраста я более и более чувствовала мою в нем потерю и сиротство, лишаясь в нем всего, что было для меня священнейшего». Граф Лев Толстой, стремясь воспроизвести характерные черты эпохи, предшествовавшей войне 1812 года, использовал и яркий типаж князя Безбородко. В романе «Война и мир» Толстой переименовал его в графа Безухова, продлил жизнь на шесть лет и придумал ему сына Пьера.
Малороссийский князь получил от графа Толстого русскую фамилию, графский титул и сына с французским именем. Так что всякий раз, перечитывая классику, мы можем очередной раз убедиться в глубинном переплетении древних родов империи.