Опасаясь мотовства сына, Кузьма Андреевич завещал дом внукам Валерию и Александру с условием не продавать его до достижения старшим из них, Валерием, тридцатипятилетнего возраста, то есть до декабря 1908 года. С начала 1900-х годов дом был преобразован в доходный с восемью квартирами, из которых сдавались шесть. Управляла домом Иоанна Матвеевна Брюсова, жена Валерия Яковлевича. Они занимали одну из оставшихся квартир; в другой жили родители с дочерьми, до выхода двух из них замуж. Наконец, 22 июня 1910 года внуки продали дом за 65 тысяч рублей Александру Робертовичу Герценбергу, владевшему соседним зданием, и разъехались. Валерий Яковлевич и Иоанна Матвеевна сняли у купца Ивана Баева квартиру в первом этаже дома 32 по Первой Мещанской улице (ныне проспект Мира, 30) – где прожили до смерти; сейчас там Музей Серебряного века.
Старый дом не уцелел, хотя «в статусе жилого […] почти без ущерба пережил труднейшие годы истории отечества. В 1978 году неравнодушный свидетель (журналист О. Точеный. – В.М.) писал: “Дом Брюсовых на Цветном бульваре неплохо сохранился до наших дней, он выглядит сейчас почти так же, как и столетие назад. Можно только сожалеть, что исчез ажурный металлический балкон, находившийся на уровне второго этажа дома, над парадным входом. Думается, что пришла пора восстановить его, благо, что сохранились старинные фотографии здания”. Последние же десятилетия оказались для него фатальными: в конце 1990-х годов дом был снесен и заменен своим не слишком похожим подобием. Балкончик, впрочем, вернули» (4).
У Кузьмы Андреевича и Марфы Никоновны было трое детей – сын Яков и дочери Дарья и Елизавета. В 1855 году, когда Якову исполнилось семь лет, «тятенька» отдал его «в частный пансион, платя за обучение по 2 рубля в месяц. Там мальчик оставался в течение полутора лет, после чего его знания мой дед, – вспоминал Александр Брюсов, – счел достаточными для ведения торговых книг, и с 9 лет мальчик стал бесплатным конторщиком в деле Кузьмы Андреевича» (5), помогая грамотному дяде Петру Андреевичу. С десяти лет Яков пытался вести дневник, но записывать было нечего, разве что «Рубили капусту в дожжик» (запись повторялась в октябре, из года в год) или «1858 года в августе начала ходить на небе комета звезда с хвостом и кончилась в 1 числах октября».