Весьма символично, что после освобождения из Бутырской тюрьмы у товарищей и друзей быстро для него нашлись: солдатские шинель, фуражка, гимнастерка, брюки и сапоги. Он сразу же включился в работу среди солдат Московского гарнизона, который к началу апреля 1917 г. насчитывал около 50 тыс. человек. Его можно было увидеть в те дни оживленно ведущим беседы среди солдат. Он выступал по нескольку раз на митингах перед населением и солдатами, разоблачал политику Временного правительства. Одновременно по поручению Московского комитета РСДРП(б) проводил большую работу среди поляков, которых насчитывалось в центральных областях России к началу 1917 г. около 2 млн. Это были в основном солдаты, мобилизованные в царскую армию в годы войны, кадровые рабочие, эвакуированные из Польши, беженцы, а также бывшие политзаключенные. Сплотить эти массы на большевистской платформе было необходимо, потому что польские буржуазные партии и различные националистические группировки старались их обработать в духе «невмешательства в русские дела» и использовать против революции. В первое время после Февральской революции они находились еще под влиянием эсеров и меньшевиков. Это наглядно показали выборы в Московский совет солдатских депутатов. Из 400 депутатов только 7 являлись большевиками. Поэтому в начале марта Московский комитет РСДРП(б) создал для работы среди солдат Военное бюро (Военки), которое развернуло бурную деятельность по созданию большевистских ячеек в воинских частях. Военки установило связи с солдатами ряда пехотных, артиллерийских и других полков, военных мастерских, распространяло среди них большевистскую литературу. В этой ответственной работе активное участие принял Дзержинский. Несколько позднее, в середине апреля большевики образовали специальную комиссию во главе с ним, которой поручалось укрепить организации большевиков в армии и руководить созданием Красной гвардии.
Под руководством Дзержинского в ряде частей Московского гарнизона, в том числе и в частях, состоявших из поляков, созданы специальные солдатские группы (секции), работавшие в контакте с партийными организациями. На заводах и фабриках Москвы начали формироваться первые отряды Красной гвардии и боевые дружины24.
Дзержинский непосредственно участвовал не только в формировании этих отрядов, но и в снабжении их вооружением и боевым слаживанием. По его распоряжению была усилена охрана Смольного: увеличено количество постов, создан сильный резерв с пулеметами и броневиками.