Губернатор видимо не владел чувством юмора, потому как шутку он не оценил. Де Пуанси отправил на Тортугу рыцаря Мальтийского ордена де Фонтенэ, чтобы сместить гугенота. Однако, подробности смерти Ле Вассёра до сих пор неизвестны. По некоторым источникам король Тортуги был убит в 1652 году своими заместителями, у одного из которых Ле Вассёр увел жену. Другие же источники полагают, что гугенот погиб в одной из пьяных драк, а некоторые полагают, что его кровь на руках французских агентов. Как бы там ни было, Тортуга лишилась хитрого и бескомпромиссного инженера, администратора и правителя.
Личность Ле Вассёра была окутана ореолом таинственности. Существовала легенда, что Ле Вассёр спрятал свои сокровища на острове, а зашифрованную карту с местоположением клада носил на груди. Расшифровать эту карту так никому и не удалось.
В следующие тринадцать лет Тортуга сменила трех правителей, но она так и не вернулась в лоно Французской монархии. На острове происходили стычки между англичанами, которые вновь оккупировали остров в 1655 году и французскими захватчиками. В 1664 году французский губернатор Дешам привез на остров 400 французских колонистов из своей родной провинции Анжу, которые основали на Эспаньоле первые сахарные плантации. Эта группа колонистов распространилась на побережье материка и стала связующим звеном французской колонии Сан-Доминго.
Всё изменилось, когда в 1665 году на остров прибыл бывший французский торговый капитан Бертран д’Ожерон. Родился д’Ожерон в 1613 году, в семье торговцев. В 1641 году, когда на Тортуге бушевали страсти, д’Ожерон получил звание капитана в военно-морском полку, при этом принимал участие в Каталонской войне 1646 – 1649 года. В 1656 году он вступил в компанию, которая предназначалась для колонизации реки Онантиниго. Однако, после прибытия на Мартинику в 1657 году, он отказывается от своей задумки и в 1662 году д’Ожерон становится буканьером на западном побережье Сан-Доминго. При этом он управляет табачными плантациями в Леогане и Порт-Марго, внося огромный вклад в развитие колонии Сан-Доминго.
Королевский штандарт Франции. Губернаторы колоний использовали прямоугольную версию этого флага с ласточкиным хвостом. Вероятно, один из таких штандартов время от времени развевался над Тортугой.