Василий Григорьевич не был историком-профессионалом, но благодаря природному уму, энтузиазму и энергии ему удалось собрать ценные исторические материалы, касавшиеся не только истории зарождения Хоперского полка, но и событий, происшедших по прибытии его на Кавказ, о его участии в борьбе с горцами, а также боевых подвигов чинов полка в других военных компаниях. В чрезвычайно короткий срок он блестяще исполнил данное ему поручение. В 1896 г. выходит его первая книга: «Историческая хроника Хоперского полка Кубанского казачьего войска. 1696–1896 г. г.». Книга получила высокую общественную оценку. Она заинтересовала и императорскую семью, в частности Великую Княгиню Анастасию Михайловну – герцогиню Мекленбургскую.
23 мая 1896 года в составе делегации от Хоперского полка Василий Григорьевич Толстов был удостоен чести быть представленным в Москве Великой Княгине в Малом Кремлевском дворце. Милостиво и радушно приняла она Автора, интересовалась его полковой жизнью, работой по составлению истории Хоперского полка. Анастасия Михайловна (шеф этого полка) пожелала есаулу успехов в его воинской службе и труде, а также захотела иметь у себя экземпляр «полковой летописи». На прощание Великая Княгиня подарила ему свой портрет с подписью. Об этом Василий Григорьевич упомянул в более поздней книге «История Хоперского полка Кубанского казачьего войска». Этот портрет долго хранился в семье, но до наших дней не дошел.
После издания книги Василий Григорьевич продолжил работу над историей Хоперского полка в основу которой был положен его прежний краткий очерк.
В 1901 году его обширный труд, состоящий уже из двух частей с обширными приложениями, вышел в Тифлисе в роскошном издании – это работа, основанная на указах, реестрах, рапортах, донесениях, статистических отчетах, планах, схемах сражений за 200 лет существования Хоперского полка. Эти сведения тесно переплетаются с этнографическими исследованиями: записями песен, описанием форменной одежды полка, особенностей воспитания. Недаром многие считают эту работу до настоящего времени настольной книгой для изучения истории, культуры, социальных и военных вопросов для казаков хоперских станиц.
«Моя работа, – вспоминал Василий Григорьевич много лет спустя, – составлена по многочисленным историческим данным, собранным мною в столичных и местных кавказских архивах; была в свое время одобрена Военно-Ученым комитетом Главного Штаба, как «Полковая история». Редактировал «Историю Хоперского полка Кубанского казачьего войска» известный историк, генерал-майор В. А. Потто, автор знаменитой 5-томной «Кавказской войны».