Рядом с Грановитой палатой находилась Средняя Золотая палата, за ней стояла Столовая изба (примерно на месте Георгиевского зала). Против западных дверей Благовещенского собора располагались две Набережные палаты – Большая и Малая. Далее, по откосу Кремлевского холма шли теремные покои княгини Софьи Фоминичны, а на месте теперешних Теремов были постельные хоромы князя и княгини.
Строительство Ивана III изменило облик Кремля. В нем были сооружены постройки из белого камня и кирпича. Особенно выделялся среди них огромный Успенский собор. Новый дворец стал прообразом всех позднейших царских дворцовых построек. На протяжении столетий Кремлевский дворец в основном сохранял свой первоначальный вид, однако постоянно расширялся и украшался.
Во время правления Ивана IV дворец не раз горел (1547, 1584), но затем его вновь восстанавливали. Особенно украсили дворец при Борисе Годунове. Стены покоев расписали сюжетами, взятыми из жизни и быта. В дальнейшем они послужило основой для росписи Грановитой палаты.
Во время польской интервенции дворец подвергся страшному опустошению, драгоценности из царской казны были расхищены, мебель сожжена. Но постепенно дворец привели в порядок, украсили и пристроили новые помещения. Например, в 1635 – 1636 годах был построен Теремной дворец с Верхоспасским собором.
На протяжении XVII века дворец продолжает расширяться. Русские и иностранные художники украшают его с небывалой роскошью. Стены палат покрывают золочеными, с тисненым рисунком кожами, а потолки некоторых покоев – серебром. В 1679 году в хоромах Потешного дворца был учрежден первый в Москве театр, где магистр Ян Готфрид ставил комедийные спектакли.
Случившийся в 1682 году пожар разрушил многие дворцовые постройки, в том числе Грановитую палату, Золотую Царицыну палату, Терема и др. Впоследствии они были восстановлены и украшены с еще большей пышностью любимцем царевны Софьи – князем В.В. Голицыным.
Наивысшего расцвета Кремлевский дворец достиг в последней четверти XVII века. Его великолепие было необычайно. Дворец весь был расписан яркими красками и золотом, украшен художественной резьбой, драгоценными коврами, тканями и чудесной золотой и серебряной утварью. По свидетельству архитекторов, царский дворец к 1753 году состоял примерно из тысячи различных комнат.