Амосовы были небогаты, но жили сравнительно хорошо: дом крепкий, под железной крышей, имелся «зимний дом» – большая кухня с двумя маленькими светелками и «летний дом» – по городскому типу: кухня и три комнаты. К дому – через сени – примыкал скотный двор с большим сеновалом. На участке был огород и сад с яблонями, малиной и смородиной. Во дворе – свой собственный колодец, над которым высился журавль. Как вспоминал потом Н. М. Амосов, это, «в общем, было нормальное хозяйство, называлось – середняцкое».
По крайней мере два поколения Амосовых, до Михаила Амосова, были полукрестьяне-полурабочие. По семейным рассказам, когда-то предки выкупили себя у барина. Летом они занимались хозяйством, а зимой глава семьи со старшими сыновьями уезжал работать на завод, занимавшийся изготовлением железных изделий. Отец – мастером, сыновья – простыми работниками. Сохранилась чугунная плита на могиле отца: «Мастеру Амосову Ивану». Впрочем, сыновья рано разлетелись из отцовского дома, после чего дед на завод ездил уже один.
Кроме деда с бабкой в семье было три сына и три дочки. Все бы хорошо, но были у мужской половины две страсти – к лошадям и к спиртному. Мать Николая долгое время боялась, что это пристрастие может оказаться наследственным, и переживала за сына.
Азартная страсть к лошадям угасла со смертью деда, а пристрастие к водке перешло к его детям и внукам; пожалуй, только Николай и был свободен от него.
Дед Амосова по отцу был «чудный человек, добрейшей души… кабы только не пил. Но и пьяный был хороший, бывало, в праздник всех зазывал выпить. Лошадей менял. Все цыгане его знали. Будто из-за лошадей и помер: ехал из города в распутицу, гнал… конь был хороший („два часа на небеса!“), провалились под лед, едва выбрались. Стал болеть, водянка, и умер…» Бабушка вспоминала: «Бывало, в войну, уже больной, ходить не мог, везет телегу, сядет верхом, тебя на руки возьмет и скажет: „детки выросли не хозяева, может, ты крестьянствовать станешь?“»
Бабушка Амосова по отцовской линии, Марья Сергеевна, в отличие от деда, была властной женщиной, на ней держалось все хозяйство. Родилась она еще крепостной, но в крепкой семье, грамоте так и не выучилась.
Марья Сергеевна категорически противилась браку между Михаилом и Елизаветой. Она наотрез отказывала Елизавете из-за внебрачной дочки и к тому же имела на примете богатую невесту для Михаила. Даже уговорила деревенского священника, чтобы тот не венчал молодых, и им пришлось обращаться в другой приход.