В 1785 году отец, Афанасий Бунин, записал сына сержантом в Астраханский гусарский полк. В шесть лет мальчик уже дослужился до прапорщика, что давало ему независимо от рождения право на дворянство. Мальчика внесли в соответствующий раздел дворянской родословной книги Тульской губернии. Такая вольница существовала при императрице Екатерине II.
Проба пера и домашний театр
В 1789 году Афанасий Иванович привез в Мишенское учителя немца, но он оказался тупым и самоуверенным шарлатаном, какими наводнена была в то время Россия. Нередко немецкие и французские парикмахеры, кучера, портные и лакеи выдавали себя за учителей, а русские вельможи им верили на слово и доверяли им воспитание своих детей. Звали немца Еким Иванович, учить Васю он стал немецкому чтению и арифметике. Ученик и учитель жили вместе во флигеле, за стеной их комнаты помещался Андрей Григорьевич Жуковский.
Учитель походя бил мальчика линейкой по пальцам, беспрестанно ворчал и топал ногами. Вася плакал. Ни счет, ни немецкие слова не лезли испуганному мальчику в голову. Андрей Григорьевич неодобрительно покачивал головой, но молчал. Однако не прошло и недели, как за стеной поднялся ужасный шум. Андрей Григорьевич открыл дверь в классную комнату и остолбенел: мальчик, стоя в углу голыми коленями на горохе, плакал, а немец бешено вопил и размахивал розгой, держа в другой руке немецкую книжку… Жуковский тут же позвал Буниных, и учитель был из Мишенского прогнан. Он сам стал заниматься со своим приемным сыном – учить его русскому письму, рисованию и счету.
В ноябре 1790 года Афанасий Иванович Бунин был вызван на службу в Тулу. Он нанял там, на Киевской улице, особняк, принадлежавший начальнику оружейного завода генерал-поручику Жукову, и тотчас переехал туда со всей семьей, включая Васю с матерью. Этой зимой Вася начал учиться в пансионе Христофора Филипповича Роде. Он был полупансионером, и после занятий его каждый вечер привозили домой. Для домашних занятий с ним был приглашен один из преподавателей Феофилакт Гаврилович Покровский.
В марте 1791 года Афанасий Иванович Бунин жестоко простудился и скончался. Все имущество он завещал своим четырем дочерям и жене, и ни словом не упомянул ни о сыне Василии, ни о Елисавете Дементьевне. Они фактически оставались без средств к существованию.