Отец Ивана Петровича, Петр Иванович Иванов, числился «безземельным крестьянином Калужской губернии Медынского уезда Межечинской волости», который переселился в Москву в конце 60-х – начале 70-х годов XIX века, стал сапожником и работал у хозяина в Охотном ряду. Его жена Иванова Елизавета Митрофановна – того же социального положения, неграмотная. У них было 7 детей, из которых к моменту папиного рождения осталось четверо. Старший, Михаил Иванович, сначала работал «мальчиком», потом приказчиком в купеческой лавке где-то на Таганке, затем окончил технические курсы (училище) и после революции работал в технических мастерских при Казанском вокзале. Николай Петрович (?? – 1955) окончил курсы бухгалтеров, работал по специальности. Евдокия Петровна (1881–1966) училась 2 года у И.И. Машкова, в 1907 г. вышла замуж за его приятеля, художника Константина Васильевича Спасского, преподававшего рисунок в Московской школе живописи, ваяния и зодчества. Следующим ребенком была Елизавета Петровна (1895–1915), которую папа считал самой талантливой из всей семьи. К сожалению, она страдала туберкулезом легких (этим заболеванием переболели все дети семьи, кроме папы) и, простудившись, в 1915 г. скоропостижно умерла.
Мама Ивана Петровича ходила поденщицей по квартирам, она стирала и штопала тонкое белье и кружевные блузки, работала, в основном, на кухне, где маленький Ваня приобрел свои первые знания в кулинарном искусстве, которым он потом славился.
Молодежь семьи Ивановых, как и большинство людей того времени, тяготела к искусству. Михаил Петрович увлекался фотографией, Евдокия и Елизавета любили театр и участвовали в любительских спектаклях. В молодости у них у всех, кроме Михаила, были странные для русской семьи имена. Так, Евдокия звалась Диной, а не Дусей, и так и осталась Диной до конца свей жизни, Николай был Коко, а не Коля (с возрастом он стал Колей). Младший, Ваня, стал Вано, и это имя со временем перешло в псевдоним.
Маленький Ваня-Вано избежал увлечения любительскими спектаклями, но зато у него был свой рисованный театр “на печи”. Его довольно сложное для восьмилетнего мальчика устройство описывается в статье Наталии Абрамовой. Зрителями этих представлений были родные и знакомые.
Папа начал рисовать рано, даже не помнил, с какого возраста. Использовал клочки, оберточную бумагу. Карандаши и краски дарили студенты, жившие по соседству, а также старший брат Михаил, который, хотя и был уже женат, жил отдельно и имел своих детей, заботился о младших братьях и сестрах.