Ссыльнопоселенцы были ограничены в возможностях передвижения, самовольная отлучка из места поселения была наказуема. За попытку побега в пределах Сибири полагалась ссылка в еще более отдаленные места или тюремное заключение сроком до двух лет, а за побег в европейскую часть страны – каторга от 3 до 6 лет. Семья деда ссылку переносила тяжело, поэтому мысль о побеге возникала в голове Ефима постоянно. Бабушке, привыкшей с малых лет к теплому южному климату, особенно плохо было зимой. Морозы здесь доходили до 40—50 градусов, а весна и лето были слишком короткими. Александре Дмитриевне не доставало солнца, по которому она тосковала, и общения с подругами, для которых она в Питере шила красивую модную одежду. Но и здесь бабушка не сидела сложа руки, дети и разросшееся хозяйство требовали заботы и внимания. Была удачно куплена корова, в семье появилось достаточно молока, завели пару свиней, кур-цесарок. Ефиму с семьей выделили кусок леса в тридцать десятин (на него самого и двух малолетних сыновей; на женщин земля не выделялась). Одну из задач царской России – освоение новых земель Сибири – семья деда Ефима выполняла с лихвой: родился очередной сын – Владимир, и к этим тридцати десятинам вскоре прирезали еще одну.
По соседству с дедом Ефимом жила большая и дружная семья каторжанина Ивана Пугачева, который после нескольких лет каторги остался в Сибири насовсем. Семья своими силами «подняла» выделенный им в свое время участок тайги и работала уже на себя: пилили вековые сосны и сплавляли их вниз по Енисею. В селе жили и другие семьи каторжан, но они, смирившись с уготованной им участью, просто доживали там свой век, не пытаясь сопротивляться тайге и судьбе. Ведь тайга сдавалась только сильным рукам, тем, кто не боялся тяжелого физического труда и беспощадного гнуса, который тучами кружил над людьми, вгрызаясь в них до крови, до костей. Отец, со слов деда, рассказывал, как однажды гнус сгрыз соседскую лошадь, случайно оставленную на несколько часов на улице.
Деду тоже приходилось туго. Из-за малолетства сыновей разработка выделенной делянки тайги ложилась только на его плечи, он сильно уставал, надрываясь на тяжелой работе. Не имея возможности реализовать свои силы, знания и опыт краснодеревщика, Ефим тосковал, был зол и груб с женой и неласков с детьми. Жизнь казалась невыносимой. Тогда он брал в руки скрипку, которую сам же и смастерил, и долго играл на ней, чем несказанно раздражал жену. Особенно ее раздражало пение деда, а его любимый романс «Выхожу один я на дорогу» часто обозначал начало очередного скандала. Кстати, этот романс стал любимым произведением моего отца, да и моим тоже. Однажды Александра Дмитриевна, рассердившись на «пиликающего» мужа, швырнула скрипку в растопленную печь. Гневу Ефима не было предела, горе буквально сломило его, и после этого случая скандалы в семье участились.