Князь Андрей родился в 1221 году, и был третьим ребёнком в семье князя Ярослава Всеволодовича и княгини Феодосии. Старше его в семье были Фёдор и Александр, прозванный впоследствии «Невским». Однако старший из братьев Фёдор умер в 1233 году в 13-летнем возрасте, накануне намечавшейся своей свадьбы.
Никаких сведений о ранней жизни Андрея источники не сообщают. Впервые его имя упоминается в летописях под 1238 годом, когда сообщается о князьях, которые пережили монголо-татарское нашествие на Русь: «Бог тогда избавил от нашествия поганых князя Ярослава, сына великого князя Всеволода, и его сыновей: Александра, Андрея, Константина, Афанасия, Даниила, Михаила, …».
До 1241 года Андрей, вероятно, находился при отце. В 1241 году новгородцы, притесняемые немецкими рыцарями, просили великого князя Ярослава Всеволодовича прислать им на княжение сына. К этому времени, княживший в Новгороде старший сын Ярослава Всеволодовича – Александр, после Невской битвы со шведами произошедшей в 1240 году, «рассорившись» с новгородцами, покинул Новгород. Поэтому великий князь Ярослав Всеволодович отправил на княжение в Новгород, своего второго сына Андрея. Однако новый князь пришёлся не по нраву новгородцам, и они обратились с новой просьбой, вновь прислать к ним Александра.
Александр Невский возвратившись в Новгород, начел решительную борьбу с Ливонским орденом. Его первым помощником стал младший брат Андрей, приведший на помощь Новгороду, владимирскую дружину.
Андрей Ярославич участвует в походе Александра Невского против крестоносцев к Пскову. После освобождения города от власти ливонцев, новгородско-владимирское войско вступило в Чудскую землю (Эстонию).
5 апреля 1242 года князь Андрей во главе своего полка участвует в знаменитой битве на Чудском озере, более известной в истории как «Ледовое побоище», закончившейся полным разгромом рыцарей. Андрей разделил с братом лавры победителя. После битвы князь Андрей «возвратился к отцу своему с честью».
После «Ледового побоища» до начала 1247 года сведений об Андрее в источниках нет. Видимо, он находился во Владимире, при отце. Весной 1247 года Андрей Ярославич, вместе с братьями, участвует в похоронах отца, тело которого было доставлено из Каракорума.
Великим князем Владимирским становится младший брат покойного Ярослава Всеволодовича – Святослав Всеволодович (1196 – 1252), княживший до этого в Суздале. Своих племянников, в том числе и Андрея, новый великий князь «посадил по городам, как урядил им отец их Ярослав». Каким именно уделом управлял князь Андрей, точно неизвестно, возможно это был Суздаль или Городец.