В конце концов французы были вытеснены из страны, но не итальянцами, а испанцами, которых возглавлял император Священной Римской империи Карл V. В 1527 году его огромная армия, состоявшая из испанских солдат и немецких наемников, опустошив большую часть Италии, захватила и разграбила Рим. И хотя боевые действия продолжались еще около тридцати лет, хозяевами положения в стране стали испанцы.
Болезнь на время избавила Джироламо от роли слуги, но, едва окрепнув, ему опять пришлось таскать тяжелую отцовскую сумку. Правда, Фацио стал немного снисходительнее к сыну. Беседуя с ним во время хождений по Милану, он не мог не заметить смышлености мальчика, его тяги к знаниям и той легкости, с какой тот усваивал все новое. И старик стал смотреть на мальчика иными глазами: теперь он видел в нем формирующуюся личность, а не просто некое существо о двух ногах, пригодное лишь для того, чтобы безропотно волочить за ним пожитки. Фацио обучил сына чтению и письму, затем познакомил с началами арифметики и астрологии, а когда мальчику стукнуло двенадцать лет, заставил изучать первые шесть книг Евклида. Он теперь много говорил с сыном, рассказывая ему всякие истории, преимущественно о разных чудесах. Эти рассказы необычайно нравились Джироламо и оставили в его душе неизгладимый след, хотя, конечно, такое воспитание и образование «на ходу» скорее тревожило воображение Джироламо, чем давало ему прочные основы знаний. Кое-как он пополнял их, с жадностью читая отцовы книги, не все, разумеется, в них понимая.
Переменив несколько домов, Фацио поселился с семьей у своего родственника Алессандро Кардано и взял к себе в услужение двух племянников. Джироламо стало легче – теперь он сопровождал отца вместе с одним из своих двоюродных братьев.
Мальчику исполнилось пятнадцать лет. Тяжелое, без друзей, детство оставило на нем свою печать – он вырос замкнутым и угрюмым. Теперь уже не туманные видения и грезы тревожили его воображение. Все чаще и чаще он задумывался о смысле жизни и о своем месте в этом мире. Может быть, толчком к этому послужила смерть его тринадцатилетнего родственника Никколо Кардано. Мысль о том, что после короткой и безрадостной жизни, полной лишений и страданий, он, жалкий бастард, слуга своего отца, вот так же, как Никколо, сойдет в могилу и будет всеми забыт, поразила впечатлительного подростка. Джироламо впоследствии писал: «Я не мог рассчитывать ни на богатство, ни на власть, ни на телесное здоровье и силы, ни на помощь семьи, ни на собственные способности и достижения… друзей у меня не было, а мои родственники погрязли в бедности и унижениях». Отзвуки тягостного одиночества слышатся в его поздних признаниях: «Я жил сам по себе и так, как мне можно было жить; ожидая чего-то от будущего, я презирал настоящее».