Неистовый Петр Матвеевич женился 24 лет от роду на дочке костромского помещика Александре Эпафродитовне Станкевич, Сашеньке. Она была хороша собою, обладала характером незлобливым и тихим, умом не отличалась, необузданности мужа побаивалась, а он на ней не раз свой гнев и срывал, – мог и поколотить. Бог дал чете Карабановых четверых деток – трех дочек и сына Владимира, дослужившегося до генерала и нажившего солидное состояние. Семья жила в Смоленской губернии, где Петру Матвеевичу принадлежало два имения.
Старшая дочь, Феодосия Петровна (1794-1871), получилась похожа на отца – и внешне, и характером: была умна, горда, вспыльчива и любила настоять на своем. Видя незаурядные способности девочки, родственники и знакомые с трудом уговорили Петра Матвеевича отдать дочь учиться в Екатерининский институт благородных девиц. Хотя две младшие дочери Петра Матвеевича уже учились в институте, а брат был помещен в Горный корпус, Феничку, которая была любимицей жены, он отдавать в учение отказывался: чтобы досадить жене, да и из-за упрямства.
В Екатерининский институт принимали детей небогатых дворян (девушек из более обеспеченных или знатных семей посылали в Смольный институт). Сироты учились за государственный счет, за остальных же платили родители или «покровители». Такая «покровительница» была и у Фенички – Анна Михайловна Хитрово, урожденная княжна Кутузова-Смоленская, дочь замечательного русского полководца М. И. Голенищева-Кутузова и фрейлина Их Императорских Высочеств. Мужем Анны Михайловны был генерал-майор Николай Захарович Хитрово, оставшийся в истории Москвы: он был славен тем, что через 12 лет после пожара 1812 года выкупил у московских погорельцев земли, расчистил их и подарил городу. Место это стало называться Хитровской площадью, на которой расположился знаменитый московский рынок Хитровка.
Знакомство Карабановых с Хитрово, произошло, видимо, сразу после войны с Францией, – Петр Матвеевич был назначен командиром небольшого отряда подвижной милиции и, после заключения мира, получил приказание привести свой отряд в Петербург, где пути Карабановых и Хитрово пересеклись. Именно Анна Михайловна содействовала принятию Фенички в институт, куда девочка мечтала попасть вслед за сестрами. Петр Матвеевич вовсе не был беден, но считал затею с Екатерининским институтом ненужной выдумкой, потому Хитрово сделала так, что отец до самого выпуска Фенички из института думал, что дочь обучается там за казенный счет, – так поводов для возражений против отсылки Фенички в Петербург у Петра Матвеевича не осталось. На самом же деле, за Феничку тайком платила Хитрово.