28-я танковая дивизия полковника Черняховского, входившая в состав Рижского гарнизона, получила 18 июня 1941 года приказ покинуть зимние квартиры и через двое суток сосредоточиться севернее литовского города Шауляя. И хотя тревожное ожидание войны не покидало тогда командиров Красной Армии, служивших у западных границ СССР, нападение фашистской Германии 22 июня стало неожиданным. Немцы сосредоточили огромные силы, значительно превышавшие по численности и вооружению советские приграничные воинские соединения.
28-я танковая дивизия, на вооружении которой находились только лёгкие танки БТ-7 и Т-26, вступила в первый бой с вторгшимся противником 23 июня. Полковник Черняховский даже в сложных условиях начала войны с неизбежными неразберихой и неожиданностями, при отсутствии рядом других боевых частей Красной Армии, принял смелое решение контратаковать противника. При этом одну танковую бригаду он направил в обход наступающего врага, что сыграло решающую роль в успехе операции. В этом бою фашисты потеряли 14 танков, 20 орудий, до батальона пехоты и вынуждены были отступить на пять километров.
В последующих тяжёлых боях дивизия Черняховского своими действиями сдерживала наступление танковых соединений противника, оказывала серьёзную поддержку нашим пехотным частям в отражении вражеских атак, но несла большие потери и вынуждена была по решению вышестоящего командования оставить свои боевые позиции. Только за один день боёв 25 июня дивизия потеряла 84 танка, погибли один из командиров танковых полков, два командира батальонов, помощник командира дивизии по технической части и ещё многие командиры, политработники и бойцы.
После короткого отдыха 28-ю дивизию полковника Черняховского командование фронта перебросило на защиту древнего русского города Новгорода. Немецкие войска, рвавшиеся к Ленинграду, сосредоточили у Новгорода огромные силы. После многодневных боёв и с огромными потерями своих войск и военной техники немцы захватили город. В 28-й дивизии не осталось ни одного танка, ни одной пушки. Дивизию направили в район озера Селигер, где она заняла боевые позиции в составе армии, которой командовал генерал Н. Э. Берзарин. Там её переформировали в 241-ю стрелковую дивизию, потому что не хватало тогда танков для оснащения всех действующих танковых соединений. Так танкист по военному образованию и по боевому опыту полковник Черняховский стал пехотным командиром. В январе 1942 года 241-я дивизия участвовала в успешной наступательной операции 34-й армии Н. Э. Берзарина, окружившей в районе города Демянска 6 вражеских дивизий. За активные действия по руководству дивизией в Демянской операции Черняховский был награждён орденом Красного Знамени. Это был второй его боевой орден с начала войны. Первый (такой же) был вручён ему за оборону Новгорода.