Любопытно отметить, что с началом Первой мировой войны тюрьму в Новой Голландии закрыли, после оригинального приказа императора Николая II, посчитавшего, что все осужденные по суду матросы должны отбывать свой срок только после победоносного завершения войны. Морское министерство тогда было отдало распоряжение об отправке осужденных матросов на фронт, в действующую армию, чтобы в героических сражениях добывать себе прощение и досрочную амнистию.
Тюремное здание на некоторое время опустело, чтобы в нем в 1915 году открыть камеры для военнопленных немецких моряков и морских летчиков.
В 1917 году, после октябрьского переворота, в тюрьме размещались конторы учреждений военно-морского порта, а затем Ленинградской военно-морской базы. В период Великой Отечественной войны и после ее победоносного завершения в здании бывшей Круглой тюрьмы Новой Голландии располагались службы управления тыла Краснознаменного Балтийского флота, руководство которой, вероятно, для солидности установило у входа в управление два позолоченных льва. Оказалось, что этих львов для достойной престижности этого морского ведомства специально доставили в Новую Голландию и установили у входных дверей бывшей тюрьмы по личному распоряжению начальника тыла Краснознаменного Балтийского флота генерал-лейтенанта А. Н. Лебедева. В один прекрасный день на Выборгскую сторону, к знаменитой даче графа Кушелева-Безбородко подкатила военная полуторка с нарядом матросов, которые лихо сняли от знаменитой львиной шеренги, двух зверей, погрузили их в кузов грузовика и доставили в Новую Голландию. Львов покрасили «золотой» краской под бронзу и «поручили охранять» главный вход в здание тыла Ленинградской Военно-морской базы.
Похищенные из оригинальной львиной ограды дачи графа Кушелева-Безбородко на правом берегу Невы, два чугунных льва находились у главных дверей базы тыла флота вплоть до начала 1990-х годов.
В 1840-х годах, вблизи тюрьмы, на набережной реки Мойки построили, сохранившийся до наших дней, трехэтажный дом коменданта Новой Голландии, а при слиянии Адмиралтейского и Крюкова каналов возвели новый кирпичный корпус для дополнительного склада.
В 1842 году набережная засыпанной части Крюкова канала, неподалеку от Невы, постепенно стала превращаться в новую площадь Северной столицы – Благовещенскую.