Учитывая всю серьёзность положения, Дориа посоветовал императору немедленно свернуть экспедицию, поскольку на затонувших кораблях располагалась львиная доля запасов провизии и армии реально грозил голод. Всего за несколько дней гордая испанская армия превратилась в своё жалкое подобие. Солдаты уже несколько дней подряд не могли просушить свою одежду, разогреть горячую пищу также было невозможно. Кроме того, сильно похолодало, и это только увеличило муки солдат. Лагерь превратился в болото. Порох промок и не годился для стрельбы, а вокруг постоянно рыскали арабские отряды, отлавливавшие зазевавшихся солдат. Кроме того, выяснилось, что боевые качества итальянских и немецких солдат были, мягко говоря, недостаточными для ведения нормальной войны, а испанских частей было крайне мало для ведения осады.
Учитывая все обстоятельства, Карл V решился на снятие осады и возвращение домой. Это было настоящим унижением, однако поступить иначе он не мог. Бросив часть имущества и артиллерии, испанская армия направилась к кораблям, и тут выяснилось, что после гибели значительной части транспортного флота на кораблях не хватает места для солдат. Скрепя сердце император приказал бросить в море всех лошадей. 2 ноября большая часть войск была погружена. Последним покинул берег сам император. После этого флот покинул алжирский берег. Перед отплытием, по одной из легенд, Карл V бросил в море свою корону со словами: «Прощай, безделушка. Пусть тебя носит тот, кто более удачлив».
Однако прежде, чем испанский флот прибыл домой, ему предстояло пройти ещё одно испытание. Сильный шторм задержал флот в море, а затем он сменился штилем, который заставил корабли долгое время беспомощно болтаться посреди моря. Начался голод, в результате которого начали умирать солдаты и матросы. Некоторые корабли были отброшены обратно к Алжиру и стали жертвой пиратов. Их экипажи пополнили число рабов. Карл V и Дориа благополучно достигли Бужии, которая тогда являлась испанским оплотом. Маленький город не был рассчитан на пребывание в нём огромной армии, так что и здесь вскоре начался голод. Напрасно капитаны пытались достичь Испании. Встречный ветер заставил их снова и снова возвращаться в Бужию. Только 23 ноября подул попутный ветер, и флот смог взять курс на Испанию. 3 декабря он прибыл к родным берегам.