У князя Димитрия Васильевича было три сына – Симеон, Феодор, Андрей и одна дочь – София. Княжич Андрей, в иночестве Иоасаф, был самым младшим в семье. Когда он родился, точно не известно.
В 1429 году князь Димитрий Васильевич Заозерский был убит в Ярославле казанскими татарами во время их набега на приволжские города. Княжич Андрей был в то время, вероятно, грудным ребенком. Благочестивая мать его княгиня Мария занялась воспитанием своих детей. Семи лет Андрея начали обучать грамоте. Учился он охотно, с любовью погружался в глубину Божественных Писаний, как дорогой бисер собирал богооткровенные слова Писания и слагал в своем младенческом сердце. Первых детей своих княгиня Мария успела устроить. Старший ее сын Симеон был женат, дочь София Димитриевна выдана замуж за князя звенигородского Димитрия Шемяку. Феодор же и Андрей женаты не были.
Но вскоре благочестивая княгиня скончалась. Впавши в недуг, она послала к преподобному Александру Куштскому просить его молитв о выздоровлении.
Но преподобный сказал, что княгиня скончается от этой болезни, и советовал ей по-христиански приготовится к смерти. По смерти матери князь Андрей остался круглым сиротой. Тогда над осиротелой семьей князя Заозерского стряслась новая беда. Муж Софии Димитриевны князь Димитрий Георгиевич Шемяка затеял усобицу с великим князем московским Василием Васильевичем Темным. Когда московский князь, ослепленный Шемякой, вернул себе великокняжеский стол, он отдал княжество Заозерское двум князьям – Михаилу Андреевичу Верейскому и Ивану Андреевичу Можайскому. Таким образом дети Заозерского князя лишились своего удела и перестали быть владетельными князьями.
Раннее сиротство, лишение, хотя и небольшое, княжеского удела, благочестивое воспитание в особенном почтении к иноческому званию – все это привело богобоязненного юношу князя Андрея Димитриевича к сознанию тленности и временности всего земного – всего того, к чему стремятся, чего ищут, чем живут мирские люди. Соседний Каменный монастырь на уединенном маленьком острове Кубенского озера показался юноше-князю тихой пристанью, в которой он мог отдохнуть от суеты, невзгод и обид мирской жизни. И вот, имея за 20 лет от роду, князь Андрей приходит в монастырь (в 1452 г.) и просит игумена Кассиана удостоить его иноческого образа. Но игумен был не рад приходу молодого князя. Его просьба о принятии в монастырь привела игумена в страх и трепет, потому что он боялся гнева великого князя московского, неприязненно относившегося к князьям Заозерским, родственникам Шемяки. Однако усиленные моления князя Андрея склонили Кассиана на согласие. Он изобразил князю всю скудость монастырского жития, всю трудность иноческого подвига; лишь когда эти речи не разубедили князя в его намерении, игумен постриг его в монашество и нарек Иоасафом, вероятно, в честь святого Иоасафа царевича, который также происходил из владетельного рода и оставил мир ради Христа, – почему впоследствии и преподобный Иоасаф в Спасо-Каменном монастыре именовался «Иоасафом-царевичем». Новопостриженного инока игумен передал в послушание и для руководства в монашеской жизни опытному старцу Григорию.