Некогда респектабельный дом в 20-е годы превратился в запущенную коммуналку. Зимой в доме было холодно, замерзал водопровод. Водились крысы, с которыми жильцы безуспешно боролись. Общая ванная была перестроена в жилую комнату, а на кухне громоздилось множество керосинок, на которых жильцы готовили еду. Но жили дружно, совместно отмечая все старые праздники.
Матушка Андрея Екатерина Алексеевна была женщиной набожной. По воспоминаниям будущего академика, она учила сына молиться перед сном и водила в церковь. Отец Андрея в бога не верил. Но при этом Андрей Дмитриевич не помнил случая, когда Дмитрий Иванович заговорил бы о своем атеизме и религии вообще.
В четыре года Андрей научился читать – по вывескам, названиям пароходов. Потом матушка помогла усовершенствоваться. У всех Сахаровых, в каждой семье, была своя библиотека, составленная из редких дореволюционных изданий. К книгам относились, как с общесемейному достоянию.
За воспитание внуков взялась бабушка Мария Петровна. Когда дети немного подросли, бабушка стала читать им вслух, приобщив ребят к мировой литературе. Андрей и его двоюродная сестра Ирина бежали к бабушке, как только дверь в её комнату оказывалась открытой. Это происходило в тот момент, когда уставшая от дневных забот Мария Петровна ложилась отдохнуть. Любопытно, что Мария Петровна в возрасте 50 лет самостоятельно выучила английский язык, чтобы читать английские романы в оригинале…
Если кто и верил в преимущества новой системы образования, то не Дмитрий Иванович, имевший к образованию непосредственное отношение. И когда пришло время отдать Андрея в школу, отец решил этого не делать. Осенью 1927 года в дом Сахаровых стала приходить нанятая Дмитрием Ивановичем учительница чтения, чистописания и арифметики. Звали ей Зинаида Павловна (фамилии Андрей Дмитриевич по малолетству не запомнил). После занятий учительница выводила Андрея на прогулку к храму Христа Спасителя. И уже на улице много рассказывала своему ученику об истории и Библии.
Домашнее образование Андрея, двоюродной сестры Ирины и их товарища Олега Кудрявцева продолжалось пять лет.
Трое учеников импровизированной домашней школы брали уроки у учительницы начальных классов Анны Павловны Беккер и преподавательницы немецкого языка Фаины Петровны Калугиной. Появилась и четвертая ученица – старшая двоюродная сестра Андрея – Катя, которая получила полный домашний курс среднего образования. Примерно в то же время, в начале 30-х, среди преподавателей появился высокий заикающийся молодой человек – Сергей Михалков, читавший детям свои стихи.