Князь Пантелеймон Мстиславич все это понимал и, не давая боярам особой воли, все же старался с ними ладить. В важных случаях «он думал» с ними «думу», то есть советовался по делам управления. Василий на этих совещаниях обычно даже присутствовал и видел, что бояре редко давали князю полезный совет, но зато из всякого положения старались извлечь выгоду для себя. Познав им истинную цену, княжич стал обходиться без их советов и не скрывал от бояр своей неприязни.
Конечно, не все русские бояре были одинаковыми. История указывает нам немало боярских имен, заслуживающих полного уважения. Их носители оказали родине важные услуги и были ценными помощниками своим государям. Но, во-первых, своих личных и сословных интересов они тоже никогда не забывали, а во-вторых, они все-таки были довольно редким исключением.
В Карачеве подобным исключением являлся Семен Никитич Алтухов, который по роду и по положению тоже был боярином. Но, будучи прежде всего военным, он привык подчиняться воле князя без особых мудрствований, к тому же он был честен и умен. Василия он понимал и в общем ему сочувствовал, хотя в глубине души некоторые его затеи считал блажью, свойственной молодости, и в возможность их осуществления не верил. Остальные же бояре относились к княжичу с плохо скрываемой ненавистью и хорошо понимали, что их ожидают трудные времена, когда он займет стол «набольшего» князя.
Совсем иным было отношение Василия к детям боярским, то есть к мелкопоместному дворянству, в котором он видел надежную опору в предстоящей борьбе с боярством. Этот слой средневекового русского общества не был еще развращен ни властью, ни богатством и родной земле своей давал гораздо больше того, что получал. Служилый дворянин жил обычно доходами с небольшого поместья, не превышавшего сотни десятин, и с юношеских лет до самой смерти почти не слезал с коня и не выпускал из рук оружия. Если он и не находился постоянно в дружине или при особе князя, то обязан был по первому зову явиться в строй «конно, людно и оружно», то есть приведя с собой нескольких воинов, вооруженных и снаряженных на его собственный счет. Войны в то время не прекращались, и это значило, что дворянин за право пользованья своим скромным поместьем платил пожизненной ратной службой, которая оканчивалась обычно его смертью на поле брани.