В своих воспоминаниях Дмитрий Милютин пытается восстановить истоки своей фамилии, свою родословную, упоминает даже тех, о ком что-либо дельного и не припомнить. Служили Милютины и при царе Михаиле Федоровиче, и при Алексее Михайловиче, и при Петре Великом, выстроили первую фабрику, потом торговые бани на Невском проспекте. Императрица Анна Ивановна пожаловала потомственное дворянство одному из предков Милютиных с гербом: на голубом щите золотое стропило и три серебряные «вьюшки». Долго спорили современные Милютины о значении этих «вьюшек», но так и не пришли к заключению, что же обозначают на гербе эти «вьюшки».
«Как бы то ни было, но в конце XVIII столетия дед мой, – писал Д.А. Милютин, – Михаил Андреевич Милютин, был уже одним из богатых московских дворян, имел в Москве два каменных дома близ Мясницких ворот в переулке, носившем его имя (переулок этот и до сих пор называется Милютинским), и прекрасное благоприобретенное имение с 1000 душами в Лихвинском уезде Калужской губернии, частью – в Алексинском уезде Тульской губернии. Он был женат на Марии Ивановне Струговщиковой и имел трех сыновей… Третий же сын, Алексей Михайлович, родившийся 29 октября 1780 года, и был моим отцом» (Милютин Д.Л. Воспоминания. 1816–1843. М., 1997. С. 47–48).
Отец получил домашнее образование, знал европейские языки, историю, вел светский образ жизни в кругу современной аристократии. В 1812 году он был уже надворным советником, награжден орденом. Михаил Андреевич жил на широкую ногу, ни в чем себе не отказывал, по природе своей был эгоистом и деспотом. В 1803 году деда разбил паралич, сыновья узнали, что Милютины в долгах. Сначала хотели отказаться от наследства, но по чисто семейным обстоятельствам от наследства не отказались, Алексей Михайлович взялся за наследственные дела и много хлопотал, чтобы установить отношения с кредиторами и расплатиться с ними. Отцу пришлось отказаться от карьеры, хотя ему покровительствовал президент Кремлевской экспедиции действительный тайный советник Петр Степанович Валуев, предлагавший ему удачную службу. Много неудач было в судьбе Алексея Михайловича. Он был умен, предприимчив, у него было много друзей и родственников, изучал фабричное дело, сельское хозяйство, часто бывал в своем имении в селе Титове.