Андрей был первым ребенком в молодой семье Сахаровых. Дмитрию Ивановичу в 1921 году было 32 года, а Екатерине Алексеевне исполнилось 28. Вторым стал его младший брат Георгий (все звали его Юрой), родившийся 6 ноября 1925 года.
В мае 1921 года Андрей был крещён – крестными матерью и отцом стали дядя Андрея (не родной, просто старый друг семьи) Александр Борисович Гольденвейзер и бабушка (по материнской линии) Зинаида Евграфовна Софиано.
Время стояло тяжкое. И семья Сахаровых жила в подвале дома на Мерзляковском переулке. Здесь Андрей провел первые полтора года своей жизни.
В 1922 году Сахаровы переехали в квартиру на втором этаже двухэтажного дома номер 3 в Гранатном переулке. Эту квартиру до революции занимала семья Ивана Николаевича Сахарова, деда Андрея по отцовской линии. После революции квартира превратилась в коммунальную. Все жившие здесь семьи (родственники Андрея по материнской и отцовской линиям) занимали по одной комнате, Дмитрий Иванович и Екатерина Алексеевна с маленьким сынишкой – две.
Отец Андрея Дмитрий Иванович Сахаров происходил из семьи присяжного поверенного Ивана Николаевича Сахарова. В 1912 году Дмитрий Иванович окончил математическое отделение физико-математического факультета Императорского Московского Университета и всю жизнь отдал преподавательской работе. Первые шесть лет Дмитрий Иванович преподавал физику в московских гимназиях и на разных курсах. В 1918 году окончил Педагогический институт имени Шелапутина, получив диплом, дававший право преподавать в высших учебных заведениях.
Дмитрий Иванович остался в истории российской науки не только как хороший преподаватель, но и как автор множества научно-популярных книг и учебников. По этим книгам юный Андрей постигал азы естественных наук. Они же пробудили в мальчике интерес к физике и математике.
Попутно заметим, что отношения между отцом и сыном сложились очень теплые. Отцу Андрей Дмитриевич обязан многими качествами своей замечательной личности, в том числе трудолюбием, умением сосредотачиваться. Слушать и слышать людей.
Матушка Андрея Дмитриевича Екатерина Алексеевна происходила из дворянского рода обрусевших греков Софианосов, в XVIII веке принявших российское подданство. Екатерина Дмитриевна училась в Дворянском институте, некоторое время преподавала гимнастику. После того, как в 1918 году Екатерина Алексеевна стала супругой Дмитрия Ивановича, она оставила работу и целиком посвятила себя семье.