Благотворное влияние оказывали на мальчика няня Катерина Михайловна и служанка Прасковья Кирилловна. Няня, солдатская вдова из крепостных, рано лишившаяся мужа, поступила в дом Пироговых еще в молодости. Она имела удивительно мягкий характер. Николай Иванович вспоминает, что не слышал от нее ни одного бранного слова. Она всегда с любовью и ласкою умела остановить упрямство и шалость ребенка. Мораль ее была самая простая и всегда трогательная, потому что выходила из любящей души: «Бог не велит так делать, не делай этого, грешно!» – и ничего более. Прасковья Кирилловна, крепостная служанка матери, была плотная, коренастая женщина, с толстыми, красными, как гусиные лапы, руками. Ее лицо было истыкано оспой и усеяно веснушками. Она была настоящей народной сказительницей, и ее сказки мальчик слушал с наслаждением, вплоть до поступления в университет. Эти сказки, которые она рассказывала ему по вечерам перед сном, оказывали на него большое воздействие и с раннего детства воспитывали любовь к родному языку. В последующем, когда Пирогов приехал на рождественские каникулы к матери в Москву из Дерпта, пробыв 4 года в Прибалтийском свободном крае, где было отменено крепостное право, он настоял у матери отпустить этих женщин на волю. Но оказалось, что у матери не было документов на крепость и она сама боялась попасть под суд. С молодой няней, красивой женщиной, все вышло благополучно, она вышла замуж без всяких документов. Прасковья Кирилловна получила вольную только в Петербурге, когда Пирогов, уже профессор Медико-хирургической академии, добился ее освобождения, как он пишет в своих воспоминаниях, «с помощью 25 рублей, преподнесенных квартальному надзирателю».
Николай Иванович отзывался с осуждением о тех русских дворянских семьях, где первым языком детей был иностранный, обычно французский. Живя в России, они с детства разговаривали не на родном языке, при этом ребенок часто думал также не по-русски. Какая же после этого у ребенка могла развиться любовь к своему отечеству?!
Сестры были гораздо старше Николая, они любили младшего брата и охотно принимали участие в его воспитании. Старший брат Петр был уже на службе, средний брат Амос, с которым тесно дружил Николай, был старше его на несколько лет.
Семья жила в достатке. Отец сверх порядочного жалованья по казначейству имел доход и от ведения частных дел, получая приглашения как хороший законовед. Дом их был просторный и веселый, имел небольшой сад и цветник. Позже, когда Николай Иванович вышел в отставку и приобрел имение «Вишня», он разбил прекрасный сад и цветник, к которым привык с раннего детства. Во время пожара Москвы в 1812 г. их дом сгорел, и после возвращения семьи его пришлось заново отстраивать.