Второй свой визит Сильви нанесла в отель Вандом. Она испытывала к герцогине и ее дочери, Элизабет де Немур, большую нежность и, радуясь завершению волнений Фронды, часто появлялась в их просторном жилище в предместье Сент-Оноре.
Появления эти были тем более часты, что опасности встречи с Франсуа уже не существовало. После безумств гражданской войны, за которые он отчасти нес ответственность, человек, прозванный «Королем нищих», был, разумеется, отправлен в ссылку, каковую отбывал в родовых замках Ане и Шенонсо. Ссылка, впрочем, была не слишком обременительна, так как у изгнанника почти всегда было приятное общество: Гастон Орлеанский, опасный братец покойного короля Людовика XIII, и, главное, дочь Гастона, пылкая Мадемуазель, с беспримерной дерзостью развернувшая в последнем сражении Фронды пушки Бастилии против королевских войск. Лучшей компании Франсуа не нашел бы при всем желании.
Прежние добрые отношения Бофора с отцом, герцогом Сезаром Вандомским, и с братом, Луи де Меркером, были испорчены в 1651 году, когда последний женился с отцовского благословения на Лауре Манчини, старшей из племянниц Мазарини. То, что это был брак по взаимному чувству, в глазах бунтовщика ничего не меняло: он считал его изменой и нестерпимым мезальянсом.
Позднее разразилась трагедия, еще больше отдалившая его от семьи: 30 июля 1652 года Бофор убил на дуэли мужа Элизабет, Шарля-Амадея Савойского, герцога Немурского. Причина дуэли была ничтожной, а виноват в ней был исключительно Шарль-Амадей, не желавший даже слышать о том, что его зять был во время последних судорог Фронды парижским губернатором. Молодой сумасброд все сделал для того, чтобы поставить Бофора к барьеру, даже обозвал его выродком и трусом, а потом настоял, чтобы дуэль велась на пистолетах и завершилась смертью одного из соперников. Пистолеты были избраны не случайно: незадолго до роковой дуэли Шарль-Амадей был ранен в руку и не мог фехтовать.
Соперники сошлись в шесть часов вечера на Лошадином рынке позади садов отеля «Вандом». За поединком наблюдали восемь секундантов (обычно секунданты тоже мерились силами, но дуэль на пистолетах позволяла обойтись без этого). Пуля, выпущенная Немуром, лишь оцарапала Бофора, который вместо того, чтобы ответить выстрелом, стал просить своего «брата» о мире, но тот, не помня себя от ярости, настоял, чтобы противоборство было продолжено на клинках. Несколько мгновений – и Шарль-Амадей получил смертельный укол в грудь. Точно такая же смерть постигла ранее Жана де Фонсома.