Прибыв под Ярцево, которое находилось в руках противника, Рокоссовский быстро сориентировался в обстановке, установил связь с частями, оказавшимися в этом районе, и приступил к организации обороны. Первым соединением, которое он встретил восточнее Ярцева, оказалась 38-я стрелковая дивизия полковника М. Г. Кириллова. Она входила в состав 19-й армии, но при отходе потеряла с нею связь. Рокоссовский, как всегда действуя решительно, подчинил дивизию себе для обороны непосредственно у Ярцева. В штабе дивизии он встретил своего сослуживца по 5-й отдельной Кубанской кавалерийской бригаде И. П. Камера, занимавшего должность начальника артиллерии 19-й армии. Рокоссовский предложил ему возглавить артиллерию группы, на что тот охотно согласился и энергично взялся за дело. Узнав, что здесь находятся части, оказывающие сопротивление врагу, люди уже сами потянулись к группе Рокоссовского. Вскоре в его распоряжении уже находилась 101-я танковая дивизия (87 танков) полковника Г. М. Михайлова. Он, командуя танковым батальоном, отличился в 1939 г. в сражении на реке Халхин-Гол, за что был удостоен звания Герой Советского Союза.
Обстановка в районе Ярцева оказалась более серьезной, чем предполагали в штабе Западного фронта. После первого боевого столкновения с противником удалось выяснить, что здесь находится не только десант, но и более внушительные силы. Обойдя Смоленск с севера, сюда прорвалась 7-я танковая дивизия. Разведка и показания пленных засвидетельствовали, что начали прибывать моторизованные части из танковой группы врага, действовавшей на смоленском направлении. Одновременно штаб группы Рокоссовского зафиксировал активность противника в южном направлении, то есть в направлении переправ в тылу 16-й и 20-й армий.
Рокоссовский, оценив обстановку, пришел к выводу о том, что противник пытается на рубеже реки Вопь и южнее по Днепру сомкнуть кольцо окружения вокруг войск Западного фронта, действовавших в районе Смоленска, а затем обеспечить себе условия для прорыва по шоссе к Москве. Рокоссовский, располагая всего двумя дивизиями, принял решение перейти к обороне, имея в первом эшелоне обе дивизии, а в резерве два полка 101-й танковой дивизии.
Несмотря на недостаток сил, Рокоссовский сумел организовать серьезное сопротивление противнику, а затем его группа стала наносить по нему удары то на одном, то на другом участке, нередко добиваясь успеха. При этом она несла большие потери, текучесть личного состава была огромной, люди узнавали друг друга лишь в бою. В таких условиях роль командира возрастала. Вот только один пример. В начале сражения под Ярцевом наблюдательный пункт Константина Константиновича находился на опушке леса, не далее километра от расположения стрелковой части, занявшей оборону. Желая проверить, как она организована, Рокоссовский вместе с генералом Камерой отправился к расположению пехоты. Они не успели отойти далеко, как из-за высоты, удаленной от позиции километра на два, появилась пехота противника, а за нею около десятка танков. Подразделения, находившиеся в обороне, открыли огонь из пулеметов и артиллерийских орудий. Это вынудило врага остановиться. Но вскоре над полем боя появились его бомбардировщики, которые стали пикировать на окопы. Одновременно активизировалась артиллерия противника, а в атаку двинулись пехота и танки. И красноармейцы не выдержали: сначала к лесу из окопов побежали одиночки, затем группы… Тяжело смотреть на бегущих солдат, особенно если это твои солдаты!