Ее отец Хуан II, уже старый, имел от первого брака взрослого сына двадцати шести лет, который остался в истории со злополучным прозвищем Энрике Бессильный. Ее мать, Изабелла Португальская, дочь герцога Бежа, хотя и очень молодая, имела более стойкий характер, чем ее муж. После того как она сумела обеспечить потомственность, родив в 1453 году второго ребенка, на этот раз сына, она сумела заставить осудить и обезглавить в июне того же года дона Альваро де Луна, опасного фаворита короля, подозревавшегося в отравлении его первой жены. Подобные картины насилия и непрочности королевской власти не могли не поразить юную инфанту, не внушить ей бессознательное стремление к жесткости и репрессиям.
Дальнейшее развитие событий не оставило Изабелле времени для полноценного детства и юности, о которых она могла мечтать: 20 июля 1454 года умер ее отец. Энрике, его первый сын, тут же взошел на трон, став популярным благодаря всеобщей амнистии и возобновлению войны против мавров, которые, впрочем, занимали тогда лишь район Гранады, да и то достаточно миролюбиво.
Положение детей, происходящих от второго брака умершего короля, было затруднительным и даже опасным для Энрике. Дело в том, что некоторые дворяне и гранды церкви, всегда готовые бунтовать против существующей власти, могли воспользоваться этими детьми, в частности, мальчиком, которого звали Альфонс, чтобы отстранить нового правителя от трона.
Из-за этого вдова Хуана II Изабелла Португальская и ее маленькая семья были сосланы в замок форта Аревало без всякой надежды выйти оттуда хоть когда-нибудь.
Итак, свое детство Изабелла провела в почти монашеском уединении в Аревало, в горной Кастилии, вместе с матерью и младшим братом Альфонсом. Вдовствующая королева посвятила себя общественной деятельности, призрению бедных и больных. Однако время от времени мать Изабеллы погружалась в черную меланхолию, которая в конце концов полностью овладела ею. Поскольку маленькую Изабеллу не рассматривали в качестве наследницы престола, воспитание не сопровождалось целенаправленным королевским образованием. Жизнь протекала в спокойной, насыщенной религиозностью атмосфере. Инфанту обучали чтению, письму и хорошим манерам. Вышивка, которую она лучше всего освоила, стала для нее впоследствии любимым отдыхом от изнурительных государственных дел. В ее образовании была масса пробелов, так что многое ей пришлось впоследствии наверстывать самой, компенсируя бедность учебной программы книгами из библиотеки покойного отца.