Но ничто не бесило Андрея Николаевича так, как возвышение Разумовского. Это он уже никому простить не мог и даже в провинции не терпел ненавистного имени. Одного из гостей он чуть не затравил собаками за то, что тот заговорил при нем о Разумовском, хотя и неодобрительно. Андрей Николаевич не хотел примириться с мыслью, что простой певчий стал вдруг вельможей, когда он, князь Проскуров, придворный Рюрикович, сидит где-то у себя в деревне с чином бригадира. Он всей душою ненавидел этот свой чин и тоже комкал и бросал письма, не читая их, если на адресе к титулу было прибавлено «и бригадиру». Впрочем, он говорил всем, что на чины не смотрит и что незачем ему иметь их, когда у него есть неотъемлемый княжеский титул, прирожденный, который пожаловать нельзя. И этому прирожденному титулу он придавал такое значение, что у него в усадьбе, в штабе служащих, жил ученый итальянец, специально приглашенный для составления родословной князей Проскуровых.
К 1789 году князь Андрей Николаевич женился в Петербурге по любви и, пока все хорошо шло у него тогда относительно службы, был ласков с женою и, казалось, души в ней не чаял. Он ждал, что первым ребенком у него будет непременно сын, продолжатель рода Проскуровых, и так, казалось, уверен был в этом, что только и говорил о том, как он назовет сына, как будет растить и воспитывать его. И вдруг родилась дочь. Князь заперся на неделю к себе в комнату, не пожелал видеть ребенка, не пошел к жене и отменил приготовленное заранее угощение для дворовых. На крестинах он тоже присутствовал лишь официально и никакого пира не устроил. Девочку назвали Ольгой.
С рождением дочери Андрей Николаевич вдруг охладел к жене. Вскоре тут пошли служебные неприятности. Положение Волынского, у которого «искал» Проскуров, казалось поколебленным. Князя грызло предчувствие, что он опять дал промах, и настроение его духа становилось все хуже и хуже. Конечно, страдали от этого главным образом домашние князя.
Княгиня была женщина болезненная, худенькая. Она едва перенесла первые роды, и доктора сказали, что вряд ли у нее еще будут дети. Это окончательно сразило Проскурова. Он долго не мог примириться с мыслью, что должен навсегда расстаться с мечтою о сыне.
Отношения его к жене совершенно испортились. Дом их разделился на две половины, и князь из своих комнат иногда по целым неделям не хаживал на половину княгини.