В недолгом времени Заливские разорились, и усадьбу пришлось продавать. В 1873 г. она досталась с аукциона банкиру В.С. Марецкому, но он также разоряется, и дом переходит в 1876 г. Обществу поощрения трудолюбия при Императорском человеколюбивом обществе, устроившему в главном доме больницу для неизлечимых пациентов (она называлась Стрекаловской по фамилии попечительницы). При больнице была устроена и церковь Всех Скорбящих Радость. В других строениях усадьбы поместились различные благотворительные учреждения.
В 1926 г. в доме устраиваются квартиры, жильцы которых довели его до полуразрушенного состояния. Парк, в котором еще сравнительно недавно стояли старинные столетние деревья, интенсивно вырубался, а дом ветшал и разрушался.
Напротив, на территории сада, в 1989 г. построили первый здесь новый элитный дом (№ 7а).
На этом же участке позади палат в 1908 г. выстроен пятиэтажный жилой дом (архитектор П.А. Ушаков), в котором жили актеры братья И.М. Москвин и М.М. Тарханов. В семье Москвиных в начале 1920-х гг. жил артист Б.В. Щукин.
Напротив несколько солидных жилых домов – № 12, где жили друзья писателя М.А. Булгакова, который часто посещал их (этот дом с большой нишей в центре фасада построен в 1898 г. по проекту А.В. Иванова), № 10 с оригинальной двухцветной окраской (1910 г., архитектор Н.Г. Фалеев) и № 8, построенный в 1914 г. архитектором Н.И. Жериховым. Здание (№ 6) рядом с ним, сооруженное после пожара 1812 г., сохранило черты уютного загородного особняка.
Пожарский переулок известен знаменитыми жильцами. Один из них – великий русский критик Виссарион Григорьевич Белинский. Он переехал в одноэтажный деревянный дом, стоявший на месте современного № 8 (1914 г., архитектор Н.И. Жерихов) из Рахмановского переулка. «Я переменяю на днях свою гадкую квартиру», – писал он 15 сентября 1837 г. В книге регистрации жильцов этого дома было записано, что в нем живут «студент Виссарион Григорьевич Белинский, брат его Никанор Григорьевич, племянник Петр Петрович Иванов, крепостной мальчик Иван Федоров». У Белинского в начале 1838 г. жил его хороший знакомый, будущий теоретик анархизма М.А. Бакунин. «Если ты можешь жить в большой комнате и притом зале, – писал ему Белинский, – то у меня есть такая комната, и ты нисколько не стеснишь меня, занявши ее». В доме в Савеловском переулке Белинский жил с 1 октября 1837 г. по 31 марта 1838 г., до переезда в здание Межевого института на Старой Басманной.