В отношениях с отцом теплоты не было. Ни у него, ни у Николеньки. Батюшка был добр, но в меру. Был занят по службе, надолго уезжал из дому. О жизни сыновей знал понаслышке, ни ему, ни брату не приходило в голову прибежать к нему в слезах, как к матушке в спальню, прижаться к груди, излить душу.
Семейные предания сохранили подробности знакомства родителей, их не укладывавшийся в привычные рамки союз. Отец матушки, князь Николай Юсупов, личность неординарная, с характером вельможи екатерининских времен, после болезни старшей дочери упорно торопил с замужеством любимицу Зинушку, уже тогда считавшуюся первой петербургской красавицей. Вся в отца, с независимым характером, давшая себе слово выйти только по любви, княжна отказывала одному за другим соискателям. Шло время, отец нервничал, явился очередной жених, наследник болгарского престола принц Баттенберг, сопровождал его скромный офицер из дворцовой свиты, в обязанность которого входило представить гостя и откланяться. Сопровождающий, однако, медлил, не сводил пылкого взгляда с разливавшей у стола чай очаровательной княжны, она коротко на него глянула – запели в небесах серебряные трубы, в отворенное окно влетел запыхавшийся Амур с натянутым луком, выпустил одну за другой стрелы – сердца молодых людей затрепетали, вспыхнули огнем: «он!»… «она!». Это была не ведавшая сомнений, не признававшая преград любовь с первого взгляда. Явившийся на другой день с визитом молодой офицер, назвавшийся графом Сумароковым-Эльстоном, бросился, едва она вошла в гостиную, на колени, сказал, что любит ее и просит соединить с ним судьбу. «Встаньте, граф, – сказала она, пылая лицом, – я согласна». Изумленный решением дочери князь, видевший ее уже царицей Болгарии, перечить желанию любимицы, однако, не стал, дал скрепя сердце согласие на брак…
Фамильная усадьба с обширным двором, доставшаяся в наследство матушке, день-деньской кишела людьми. Многочисленной прислугой, приехавшими погостить родственниками, приживалами, странниками, любителями попотчеваться задарма от княжеских щедрот – на всех хватало вина, горячих кушаний, посуды, столового серебра. Стол, по обыкновению, держали открытым: сколько едоков соберется к обеду, в точности не знали. Многие питавшиеся по нужде то в одном, то в другом достаточном доме, являлись к трапезе целыми семьями. Одна богатая старуха-домовладелица (он мысленно называл ее гусыней) ела принципиально только в гостях. Приезжала с опозданием, находила свободное кресло, хищно принюхивалась к кушаньям, говорила, косясь на соседей: «Волки сыты, теперь поем спокойно».