В 1864 г дворец снова подвергся реконструкции. Автор проекта архитектор А. И. Резанов дополнил здание в «старом вкусе». Изменения 1864 г не испортили здание, их сложно заметить.
В начале 20 века во дворце находились советы рабочих и крестьянских депутатов. В 1941 г дворец частично разрушен фашистами. Его восстановили в период с 1942 г по 1948 г включительно.
С конца 90-х прошлого века до 2015 г во дворце велись реставрационные работы.
Считается образцом парадной архитектуры 18—19 веков. Архитектурный ансамбль дворца:
– Здание бывшего реального училища.
Два флигеля напоминают небольшие церкви. Один из них украшен звездой, на второй установили крест.
На территории дворца сохранился сад, который создали в 18 веке (его неоднократно реконструировали).
Вход в сад платный, билет стоит 50 рублей. Можно приобрести в кассе в вестибюле дворца.
Сад открыт для посетителей: среда, четверг, воскресенье – с 11:00 до 18:00 (касса до 17:00), пятница, суббота – с 11:00 до 20:00 (касса до 19:00). Понедельник, вторник – выходной.
Изначально аллеи в парке располагались в форме веера, чтобы открывался вид на Волгу. Несмотря на популярность в конце 18 века английского пейзажного стиля Дворцовый сад выполнили в строгом французском классическом стиле.
В 1809 году, когда дворец превратился в резиденцию генерал-губернатора, поэтому сад подвергся реконструкции. В 1810 году она завершилась, планировка сада существенно изменилась.
Планировка сада неоднократно менялась, в первой половине 20 века он обветшал. В 2014 – 2016 году его реконструировали по плану 1870 года, который составил известный петербургский зодчий А. И. Резанов.
В 19 веке сад украсили уникальными скульптурами, которые создали в мастерской итальянского скульптора Сантина Кампиони. Они выполнены из гипса, две из них украшали лестницу дворца.
Всего в саду установили 32 статуи (с учетом украшающих лестницу), но большая часть не сохранилась.
После реконструкции 2014—2016 гг в саду установили восемь статуй (с учётом сфинксов).
Из четырёх сфинксов 19 века, сохранилось только два.
Из-за белых скульптур Дворцовый сад немного напоминает Летний в Санкт-Петербурге (стоят копии, коллекции статуй из мрамора создали итальянские мастера в 17—18 веках).