А. П. Ожаровский был женат на Марии Павловне Пален, урожденной Скавронской, та вышла за него, разойдясь с первым мужем. Она приходилась матерью графине Ю. П. Самойловой, увековеченной на картинах Карла Брюллова. В 1833 году граф получил назначение в Варшаву, где ему предстояло занять должность члена Государственного совета Царства Польского.
К 1839 году опустевший дом Ожаровских приобрела супруга гвардии поручика О. А. Рюмина, чей превосходный портрет кисти Ореста Кипренского, принадлежащий к лучшим творениям мастера, находится ныне в Русском музее. Правда, художник написал его в 1826 году, когда Олимпиаде Александровне едва минуло девятнадцать, к моменту же покупки дома она была уже зрелой женщиной, матерью многочисленного семейства.
О. А. Рюмина
О. А. Рюмина, урожденная Бороздина, происходила из почтенного дворянского рода, давшего немало государственных и военных деятелей. Прадед ее, Корнилий Богданович, прославился в Семилетнюю войну, много сделав для развития отечественной артиллерии. Зато муж Олимпиады Александровны, гвардии поручик Иван Рюмин, не мог похвастаться родословной: отец его, Гаврила Васильевич, наживший огромное состояние винными откупами, лишь при Павле получил дворянское достоинство, и ему специальным указом пожаловано было право на покупку деревень с крестьянами. Столь быстрое возвышение весьма типично для нашей российской истории, изобилующей примерами попадания «из грязи да в князи».
Интересные сведения о новоявленном помещике приводит в своих «Записках» А. М. Тургенев: «Я сам знал откупщика Гаврилу Васильевича Рюмина, который благородную свою карьеру начал подносчиком в кабаке села Камбушева… Рюмин в кабаке в драке ударил крестьянина по виску крючком… и крестьянин упал мертвым. Этого убийцу Рюмина я видел статским советником, следовательно, дворянином, в орденах… губернским предводителем дворянства и владельцем того села Камбушева, в котором Гаврилу Васильевича пред кабаком секли плетьми за смертоубийство и в котором Гаврила Васильевич Рюмин давал благородному дворянству пиры, балы, а в городе Рязани имел счастье угощать в своем доме… государя императора Александра I».
Впрочем, «рязанский Лукулл», как величали Гаврилу Васильевича льстивые сограждане, прославился и широкой благотворительностью, особенно в 1812 году, когда он пожертвовал около миллиона на военные нужды. Г. В. Рюмин закончил свой земной путь владельцем более 10 тысяч крепостных. Его сыновья, получившие после отца пятнадцатимиллионное наследство, были приняты в лучшем обществе, а их собственные дети состояли в родстве с самыми знатными фамилиями и могли уже почитать себя аристократами.