Особой славой пользовались библиотеки Ростова. Крупнейшая из них находилась в Григорьевском монастыре, где учился известный писатель конца XIV – начала XV века Епифаний Премудрый. На конец XV века приходится время расцвета ростовской архитектурной школы. В этот период ростовские строители работают во всех концах обширной епархии – от Переславля до Белозерья.
В середине XVI века Ростов становится крупным торговым центром на пути из Москвы в Архангельск и Западную Европу, что привело к значительному подъему экономической жизни города. Затем Ростов был взят в опричнину Иваном Грозным, а в начале XVII века разорен польско-литовскими интервентами.
Во второй половине XVII века, при митрополите Ионе III Сысоевиче сооружается Архиерейский двор, который стали называть Ростовским кремлем. Под руководством мастера Петра Досаева безвестные строители возвели на берегу озера Неро архитектурный ансамбль, который по красоте и целостности имеет мало равных в зодчествеXVII века. Многое из того, что в наше время восхищает в Ростове, связано с именем Ионы Сысоевича. Это не только архитектурный ансамбль Ростовского кремля, но и знаменитая звонница Успенского собора. Всего на звоннице 15 колоколов. Среди них самый большой – Сысой, весом 32 тонны. Звоны колоколов, восхищавшие всех, кто их слышал, слышны в радиусе двадцати километров. Строительство, начатое Ионой Сысоевичем, продолжили и завершили его преемники.
В начале XVIII века в ростовском строительстве наступает спад. Истощилась казна, все больших средств от духовных властей требует Петр I, ведущий затяжную Северную войну. При Петре I Ростов теряет свое административное значение и примыкает к вновь образованной Переяславль-Залесской провинции. Крепостные сооружения и башни теряют военное значение и остаются без защитников.
В начале XVIII века митрополит Дмитрий Ростовский создает при Архиерейском дворе школу, где начинают преподавать латинский и греческий языки, а затем создает и школьный театр. В театре, ставившем пьесы Дмитрия Ростовского и учителей школы, играли ученики и учителя. В XVIII и XIX веках перенесение столицы России из Москвы в Петербург и сокращение торговли через Архангельск негативно сказались на экономической жизни Ростова.
Во второй половине XVIII в Ростове создаются текстильная и бумагоделательная мануфактуры, созданные на средства купцов Яковлевых. Однако они не оказывают значительного влияния на развития города. В дальнейшем Ростов утрачивает свое значение церковного центра, Архиерейский двор переезжает в Ярославль.