О своем детстве Брюсов рассказал с юмором, передавая дух времени, захвативший родителей: «Они с жаром предались моему воспитанию, и притом на самых рациональных основах. Начали с того, что меня не пеленали вовсе. Я мог барахтаться сколько угодно и наперекор старорусскому убеждению нисколько не вышел искривленным. Кормила меня мать сама, конечно, по часам. Игрушки у меня были только разумные. […] Родители мои очень низко ставили фантазию и даже все искусства, всё художественное. Им хотелось избрать своим кумиром Пользу. Поэтому мне никогда не читали и не рассказывали сказок. Я привык к сказкам относиться с презрением. Впервые прочитал я сказки лет 8-9-ти; тогда как читать научился я 3-х лет от роду, а полюбил слушать чтение еще раньше». «Если мы сами вышли ни то, ни сё, то пусть наши дети будут настоящими людьми», – писал Яков Кузьмич жене, пояснив в другом письме, когда любимому «Вальке» было всего девять месяцев: «Я не хочу, чтобы он вынес из своего детства обыкновенные обыденные впечатления с предрассудками».
Летом 1877 года Брюсовы, в семье которых только что родился второй сын Николай, отправились в Крым: первое путешествие в жизни Валерия. «Море и скалы, “царственные виды соседства гор и вод Тавриды” сразу обольстили мое детское воображение. […] В памяти у меня остались лишь разрозненные отрывки впечатлений этого лета: запомнилась почему-то, и вполне отчетливо, Ореанда; запомнились стены севастопольских домов, на которых тогда еще показывали следы ядер и пуль Крымской войны; запомнилась бурная ночь, когда ветер срывал ставни на ялтинских домах, а в море затонуло немало рыбацких баркасов».
В 1878 году на Яузском бульваре у Брюсовых, незадолго до их переезда на Цветной бульвар, бывал революционер-народоволец Николай Морозов, будущий узник Шлиссельбургской крепости, почетный академик и автор «новой хронологии». Яков Кузьмич в революционном движении не участвовал, но считал делом чести помочь товарищам, если тех преследовали власти. Морозов сажал хозяйского сына «на свое колено и качал, предлагая мне воображать себя скачущим на лошади», но маленький Валерий вряд ли это запомнил. В марте 1910 года он записал в дневнике: «Познакомился с Н.А. Морозовым, шлиссельбуржцем. Он знал меня ребенком, качал на коленях – так как гимназистом и студентом был близок с моим отцом. […] Узнав, что я сын его старого знакомого, был тронут, обнял меня, поцеловал. Много говорил с моей матерью, вспоминал прошлое». Памятью нового знакомства стал инскрипт на втором томе собрания стихов «Пути и перепутья» (1908): «Николаю Александровичу Морозову на память о давних, давних днях, когда он качал на коленях будущего автора этой книги. Валерий Брюсов» (17).