Деда по отцовской линии Ивана Николаевича Сахарова Андрей не застал – тот умер за три года до рождения внука. Но бабушка Мария Петровна, жившая вместе с семьей сына (уточним – в одном доме, но в другой комнате, отношения между свекровью, женщиной сильно и властной, и невесткой складывались не очень хорошо), много рассказывала детям о своем покойном супруге.
Иван Николаевич и Мария Петровна пережили большую любовь и даже были вынуждены бороться за свое счастье, преодолевая несогласие родителей. Дело в том, что Мария Петровна ещё до знакомства с Иваном Николаевичем вышла замуж. Но влюбившись в Сахарова, от мужа ушла. Они оформили отношения в 1899 году, когда у них, живших в непопулярном в те времена гражданском союзе, уже подрастало шестеро детей. Дмитрий Иванович, будущий отец Андрея Дмитриевича, был четвертым ребенком в семье.
Дедушка по материнской линии, Алексей Семенович Софиано, был до революции русским офицером. В 1917 году он в возрасте 63 лет вышел в отставку в чине генерал-майора. Дожил до 1929 года и при этом ни разу не получил положенной ему пенсии. Новая власть не признавала заслуг старых солдат перед Отечеством, как не признавало и… само Отечество.
Супруга Алексея Семеновича, бабушка Андрея Дмитриевича – Зинаида Евграфовна по происхождению была дворянкой. Брак с Алексеем Семеновичем был в её жизни вторым. Ей довелось стать мачехой двум детям мужа от первого брака – Анне и Владимиру. А в браке с Софиано Зинаида Евграфовна родила троих детей – Константина, Катю, будущую маму Андрея, и Татьяну.
Большая, интеллигентная семья с дедушкой, бабушками, множеством теток и дядьев – в такой необыкновенной среде вырос будущий академик Сахаров.
Семья, действительно, была огромная. Вернувшись после революции в свой дом в Гранатном переулке (этот двухэтажный дом никогда не принадлежал Сахаровым, они снимали его у хозяина Моисея Соломоновича Гольденвайзера, с которым породнились через брак его сына Александра с младшей сестрой Екатерины Татьяной), Дмитрий Иванович и Екатерина Алексеевна заняли две комнаты на втором этаже. Отдельную комнату заняла бабушка Мария Петровна. Три комнаты занимали со своими семьями трое её сыновей. В остальных комнатах жили посторонние люди. Таким образом, дом номер 3 в Гранатном переулке Москвы объединил под одной крышей три поколения семьи Сахаровых-Софиано.