Те, поначалу ничего не заметили, когда заметили, не сразу поняли, когда поняли, решили ничего не предпринимать и рассматривать данный камень не как оскорбление, а как достопримечательность для туристов. Так он и красуется до сих пор в центре Верхнего города.
В течение последующих двух веков город рос, все более приспосабливаясь к своему удачному географическому положению и приобретая типичные черты «маленького города у большого города». Единственным большим историческим событием стал разгром недалеко от Гюнцбурга войсками швабского союза крестьянского ополчения, насчитывавшего около 5000 человек, что произошло в ходе немецкой Крестьянской войны.
Вторая половина 16-го века оказалась для Гюнцбурга счастливой порой. Особое внимание со стороны Габсбургов проявилось в создании в городе герцогской резиденции: между 1577 и 1580 годами в юго- западной части Верхнего города был построен замок с замковой церковью в ренессансном стиле. Заказчиком этого строительства выступил эрцгерцог Фердинанд II.
Его сын Карл, в ранге маркграфа, имел здесь резиденцию с 1609 по 1618 год. Карл намеревался всячески содействовать расцвету города, но 17 век стал для Гюнцбурга, как и почти для всей Германии, несчастливым: разразилась кровопролитная Тридцатилетняя война, которая свела на нет усилия марграфа и надежды жителей, численность которых в результате войны сократилась в три раза – с 2400 до 800 человек. После смерти бездетного Карла город снова перешел во владение основной линии Габсбургов.
Начало 18 века также не предвещало ничего хорошего. В ходе войны за испанское наследство (1701—1714) были сожжены и замок-резиденция, и 26 расположенных рядом зданий. А уже в мирное время – 8 мая 1735 года – почти вся северная часть Верхнего города стала жертвой огромного пожара, уничтожившего 176 домов, в том числе готическую Фрауенкирхе (церковь Богоматери).
Но нет худа без добра. Пожар принес огромные потери, но расчистил место для нового строительства, которое не заставило себя долго ждать. Главное сооружение той поры – построенная на фундаментах готической Фрауенкирхи новая церковь в стиле Рококо (1736—1741) по проекту выдающегося архитектора Доменикуса Циммермана. Эта новая церковь относится специалистами к лучшим строениям 18 столетия – особенно живописным является ее внутреннее убранство, в основном, сохранившееся до нашего времени.