Неожиданное возвращение Наполеона с о-ва Эльба и последовавшие за этим Сто дней, завершившиеся его разгромом при Ватерлоо и окончательным отречением, в корне изменили ситуацию. Во Франции развернулся Белый террор в отношении бонапартистов и активных участников революции. 1 января 1816 г. был принят закон об изгнании всех членов семейства Бонапарт из Франции. Гортензия покинула Париж еще в июле 1815 г., успев заблаговременно распродать свое имущество. Одним из покупателей ее коллекции старинной живописи на очень выгодных для Гортензии условиях стал все тот же русский царь.
В это время ее настиг второй удар. Людовик Бонапарт, давно добивавшийся передачи ему на воспитание обоих сыновей, сумел «отсудить» у жены старшего, Наполеона-Людовика, которого в октябре 1815 г. Гортензия вынуждена была отправить к отцу, в Богемию. Младший, Луи-Наполеон, остался с матерью, которая в 1817 г. на вырученные от распродажи имущества средства и доставшееся после смерти матери наследство приобрела небольшой, но красивый замок Арененберг на севере Швейцарии, на границе с Баварией. Свой замок Гортензия превратила в своеобразный музей, воссоздав в нем обстановку эпохи Империи. Здесь изгнанников посещали родственники, друзья и заезжие знаменитости, среди которых – Александр Дюма-отец, Жорж Саид, Шатобриан и др. В замке Арененберг Луи-Наполеону доведется провести долгие семнадцать лет.
В июне 1819 г. Гортензия подберет ему воспитателя – некоего Филиппа Леба, сына бывшего члена Конвента, близкого друга Робеспьера. Сам Леба в молодости был моряком, затем офицером наполеоновской армии, отличившимся в ряде кампаний. С падением империи он стал школьным учителем. Ему было что рассказать своему воспитаннику о революции и ее героях, о войнах времен Республики и Империи. В сознании впечатлительного подростка рассказы Леба соединялись с тем, что он постоянно слышал от матери и ее гостей об исторических деяниях его великого дяди. В результате в нем сформировалось твердое убеждение в существовании некой сакральной связи между народом Франции, Революцией и вышедшим из нее Наполеоном Бонапартом. Убежденность в народном характере режима, установленного Наполеоном, племянник императора французов пронесет через всю свою жизнь.
Формирование умственного кругозора Луи-Наполеона, конечно же, не ограничивалось теми уроками, которые он получал в замке Арененберг. Гортензия отдала своего сына в Аугсбургский коллеж, где он получил хорошее общее образование и свободное знание трех языков – немецкого, итальянского и английского. В 1827 г. девятнадцатилетний Луи-Наполеон, под влиянием другого своего наставника, бывшего майора императорской гвардии Паркена, записывается в Военную инженерно-артиллерийскую школу, находившуюся в городке Тури, недалеко от Берна. Когда год спустя, начнется война между Россией и Турцией, Луи-Наполеон изъявит желание отправиться на помощь туркам, но это намерение не будет тогда реализовано. По окончании учебы он поступает на службу в швейцарскую армию, где в 1834 г. получит чин капитана артиллерии.