Михаил Федорович был избран на царствование Земским собором 3 марта 1613 года. Став царем, он поселился в Кремле. Некоторое время спустя Михаил Федорович передал боярскую усадьбу только что учрежденному Знаменскому монастырю. Монахи не единожды перестраивали здание под свои хозяйственные нужды. Происходило это вплоть до 1857 года, пока Александр II не выкупил палаты у монахов за 20 тысяч рублей – сумму, по тем временам немалую.
Пережив множество пожаров и разграблений, неоднократную смену хозяев, «старый государев двор» наконец обрел статус исторического памятника. Александр II приказал устроить в своей родовой вотчине «Дом бояр Романовых» – фактически, первый исторический мемориальный музей в Российской империи. Тогда же здание было тщательно обмерено, и была проведена его реставрация по историческим документам, которая закончилась в 1858 году.
Проект реставрации разработал и руководил ею придворный архитектор Ф. Ф. Рихтер. В ходе ее были достроены второй и третий, деревянный, этажи, перестелены полы, восстановлены крыльцо и крыша, на которую в виде флюгера водрузили геральдический знак дома Романовых – грифона. Герб с изображением грифона был расположен и на северном фасаде музея, над входной дверью со стороны Варварки. В советское время нишу заделали, грифон был снят, и дальнейшая судьба этого памятника неизвестна. Во время реставрационных работ 1984–1991 годов нишу раскрыли, ее предназначение выяснили в результате работы в архивах. Обнаружили ряд малоизвестных проектов Рихтера и фотографию 1913 года, на которой изображен император Николай II на фоне северного фасада палат – там над входом хорошо виден грифон. В 2008 году потомки Ф. Ф. Рихтера – семья Черновых-Рихтеров и Пол Эдвард Куликовский, потомок сестры Николая II, дали денег на реконструкцию на фасадах здания двух рельефов с изображением геральдических грифонов.
Во время реставрации 1850-х годов внутренняя отделка палат тоже подверглась существенной модернизации: стены были обиты дорогой парчой с царскими вензелями (фрагменты ее, чудом уцелевшие, можно увидеть в некоторых местах даже сейчас). Внутри появились серебряная и расписанная эмалями посуда, шитье, женские украшения. Сундуки, коробья, мебель, стены были украшены прекрасными росписями. Тогда же легенда – сочиненная, как говорят, в 1850-х годах придворными кругами – стала называть это здание местом рождения царя Михаила Федоровича.