Отец женился на красивой девушке, но она оказалась больной и вскоре после свадьбы умерла. Три года он был вдовцом, потом вместе с матерью и сестрами вновь поселился в Милютинском переулке и вновь вошел в светское общество, особенно часто посещал он гостеприимный дом отставного бригадира Дмитрия Ивановича Киселева и Прасковьи Петровны, урожденной княжны Урусовой. В широкий круг друзей и родственников Киселевых входили князья Урусовы и Грузинские, а вместе с ними многочисленные представители московской и петербургской аристократии. Старший сын Киселевых – Павел Дмитриевич – служил в Кавалергардском полку, во время войн с Наполеоном, в 1807 и 1812–1815 годах, отличился, стал флигель-адъютантом императора Александра Первого, а после пожаров в Москве его семья получила место для строительства нового дома у Красных ворот. В семье Киселевых были и младшие сыновья, а главное – три сестры, в одну из них, Елизавету Дмитриевну, влюбился Алексей Михайлович и вскоре попросил у родителей ее руки. Елизавета Дмитриевна согласилась («По свидетельству всех, знавших ее в молодости, это было восхитительное создание: она привлекала к себе своею милой, симпатичной наружностью, обходительностью, веселой любезностью», – вспоминал Д.А. Милютин), а в семье возникли возражения: посчитали партию «неравной». Влюбленные были в отчаянии. Павел Дмитриевич написал сестре, что она должна была покориться воле родителей, Сергей Дмитриевич тотчас же взял отпуск в полку и приехал для разрешения этой драмы. Вскоре он добился согласия родителей, и 15 июня молодые были помолвлены, а 22 августа 1815 года состоялась свадьба. Несколько дней молодые жили в Москве, в Милютинском переулке, а потом надолго поселились в имении Титово, где было все для богатой барской жизни: «Конский завод, псовая охота, всякого рода мастерские, в том числе даже каретная, – все это содержалось на славу, и все это считалось необходимым для приличия, для поддержания достоинства и в особенности – для кредита. Чем хуже шли дела денежные, тем более нужно было прикрывать это наружным блеском обыденной жизни», – писал Милютин.
28 июня 1816 года в Москве родился Дмитрий Алексеевич Милютин, потом через два года Николай, в 1821 году – Владимир… Через несколько лет Елизавета Дмитриевна писала Павлу Дмитриевичу, что у нее шестеро детей, а содержать их нет средств. Павел Дмитриевич помогал и Алексею Михайловичу в карьере, и Елизавете Дмитриевне в средствах.