Они обыскали город и почти ничего не нашли. В самой Гаване никогда не хранилось сказочных богатств, они обычно лежали на судах, которых как раз в тот момент не было. Тогда пираты попытались взять с горожан выкуп, но безуспешно. В итоге они перерезали горло многим из заложников, сожгли Гавану дотла, подожгли корабли в бухте и даже уничтожили большие лесосеки за городом. Оставив от Гаваны дымящееся над морем пепелище, на котором задыхались немногие выжившие, пираты уплыли.
От города мало что осталось, но жители начали его восстанавливать. Не успело строительство закончиться, как приплыли еще одни французские пираты и сожгли Гавану снова. После этого испанцы потребовали от правительства построить огромную каменную крепость Кастильо-де-ла-Реал-Фуэрса, которая должна была встать на западном входе в гавань. Для работы король Филипп II прислал ведущего военного инженера Бартоломе Санчеса и сорок каменщиков. Все испанские колонии выделили деньги, поскольку они хотели получить форт, который будет защищать их товары. Однако для окончания строительства крепости остро не хватало рабочей силы.
К тому моменту испанцы уже пятьдесят лет как привозили на Кубу африканских рабов, в основном для работы в сельском хозяйстве. Король приказал снять африканских рабов с полей и на некоторое время отправить на строительство крепости, но резкая остановка сельскохозяйственного производства вызвала нехватку еды. Стало сложно даже снаряжать корабли. Тогда последовал новый приказ: всем чернокожим, кто сумел получить свободу и перебраться в Гавану, чтобы избежать работы в деревне, следует явиться на строительство или получить сто плетей. Свобода, судя по всему, была понятием относительным.
Крепость достроили в 1582 году.
В 1589 году, чтобы еще больше усилить обороноспособность, на восточном входе в гавань соорудили крепость с башней. Там была возвышенность; еще до того, как возникли хоть какие-то укрепления, с этого места узнавали о приближающихся кораблях. Крепость получила имя Кастильо-де-лос-Трес-Рейес-Магос-дель-Морро – в честь трех волхвов, приходивших к младенцу Христу; сегодня ее называют просто Эль-Морро, что значит «Возвышенность». Еще одну крепость, Ла-Пунту, позже построили прямо напротив Морро, на самой оконечности западной стороны гавани, на одной линии с Кастильо. Теперь вход в гавань охраняли целых три крепости.