В 1871 году Яков Кузьмич вопреки воле отца поступил вольнослушателем в Петровскую сельскохозяйственную академию, но через год был вынужден оставить ее, поскольку не имел законченного гимназического образования. В январе 1872 году он пошел на новый конфликт – женился. «Родители уже выбрали ему невесту из купеческой семьи с подходящим состоянием. Но он задумал жениться по своему выбору. Мать моя была из семьи очень небогатой, у нее было пять сестер и шесть братьев, так что ни на какое наследство надеяться было невозможно. […] На этот раз дело дошло до полного разрыва. Отец ушел из семьи, нашел место в суде на 20 р. в месяц. Он рассказывал мне, с каким внутренним самоудовлетворением отказывался он от взяток и благодарностей. Впрочем, [служба отца] продолжалась не долго. Дед, до безумия любивший своего единственного сына, Яшу, сам пришел к нему мириться. Отец вернулся в прежнее дело». Уже в марте 1873 года он принял на себя руководство пробочной торговлей Кузьмы Андреевича – неохотно, но понимая, что без формального образования другой работы не найти. Тоскуя, он пристрастился к вину. После смерти отца и раздела его наследства, Яков Кузьмич передал дела фирмы более предприимчивым родственникам и жил на проценты с капитала, которые стали основным источником существования и для его детей на многие годы.
Второй дед будущего поэта Александр Яковлевич Бакулин (1813–1894) являл собой полную противоположность Кузьме Андреевичу. Он родился в Ельце в состоятельной купеческой семье, потерявшей значительную часть состояния в 1840-е годы, в том числе из-за разрушительного пожара. Александр Яковлевич арендовал мельницы и имения, где хозяйством занимались его многочисленные дети от двух браков, и был принят в домах соседей-помещиков почти на равных. В юности он однажды видел Пушкина, о чем с благоговением вспоминал до конца жизни, поскольку главной его страстью была литература. «Он писал лирические стихи, поэмы, повести, романы, драмы, – сообщает внук, – но особенно сильным считал себя в баснях. Воспитывавшийся еще в Пушкинскую эпоху […] он признавал только Державина, Крылова, Пушкина и поэтов Пушкинской плеяды; уже к Лермонтову (своему погодку. – В.М.) он относился несколько пренебрежительно, “новых” же поэтов, как, например, Фета или Полонского, он отрицал совершенно. Кое-что из своих произведений деду удавалось пристроить в разные мелкие издания, а в 1864 году он даже издал отдельной книжкой свои басни (под псевдонимом “Басни провинциала”