А.П. Ожаровский был женат на Марии Павловне Пален, урожденной Скавронской, та вышла за него, разойдясь с первым мужем. Она приходилась матерью графине Ю.П. Самойловой, увековеченной на картинах Карла Брюллова. В 1833 году граф получил назначение в Варшаву, где ему предстояло занять должность члена Государственного совета Царства Польского.
К 1839 году опустевший дом Ожаровских приобрела супруга гвардии поручика О.А. Рюмина, чей превосходный портрет кисти Ореста Кипренского, принадлежащий к лучшим творениям мастера, находится ныне в Русском музее. Правда, художник написал его в 1826 году, когда Олимпиаде Александровне едва минуло девятнадцать, к моменту же покупки дома она была уже зрелой женщиной, матерью многочисленного семейства.
О.А. Рюмина, урожденная Бороздина, происходила из почтенного дворянского рода, давшего немало государственных и военных деятелей. Прадед ее, Корнилий Богданович, прославился в Семилетнюю войну, много сделав для развития отечественной артиллерии. Зато муж Олимпиады Александровны, гвардии поручик Иван Рюмин, не мог похвастаться родословной: отец его, Гаврила Васильевич, наживший огромное состояние винными откупами, лишь при Павле получил дворянское достоинство, и ему специальным указом пожаловано было право на покупку деревень с крестьянами. Столь быстрое возвышение весьма типично для нашей российской истории, изобилующей примерами попадания «из грязи да в князи».
Интересные сведения о новоявленном помещике приводит в своих «Записках» А.М. Тургенев: «Я сам знал откупщика Гаврилу Васильевича Рюмина, который благородную свою карьеру начал подносчиком в кабаке села Камбушева… Рюмин в кабаке в драке ударил крестьянина по виску крючком… и крестьянин упал мертвым. Этого убийцу Рюмина я видел статским советником, следовательно, дворянином, в орденах… губернским предводителем дворянства и владельцем того села Камбушева, в котором Гаврилу Васильевича пред кабаком секли плетьми за смертоубийство и в котором Гаврила Васильевич Рюмин давал благородному дворянству пиры, балы, а в городе Рязани имел счастье угощать в своем доме… государя императора Александра I».
Впрочем, «рязанский Лукулл», как величали Гаврилу Васильевича льстивые сограждане, прославился и широкой благотворительностью, особенно в 1812 году, когда он пожертвовал около миллиона на военные нужды. Г.В. Рюмин закончил свой земной путь владельцем более 10 тысяч крепостных. Его сыновья, получившие после отца пятнадцатимиллионное наследство, были приняты в лучшем обществе, а их собственные дети состояли в родстве с самыми знатными фамилиями и могли уже почитать себя аристократами.