Оставшись одна с детьми на руках, 32‐летняя мать Дзержинского старалась воспитать своих детей достойными и образованными людьми, поэтому Феликса уже в семилетнем возрасте отдала в гимназию, где он не показал высоких результатов. Абсолютно не зная русского языка, Дзержинский два года просидел в первом классе и по окончании восьмого класса выпустился со свидетельством, в котором оценка «хорошо» стояла только по Закону Божьему. Но причиной его плохой успеваемости стал не слабый интеллект, а постоянные трения с педагогами, при этом он самых юных лет мечтал стать ксёндзом, поэтому и не старался грызть гранит науки.
Говорят, будто юный Феликс страстно влюбился в сестру Ванду, а девочка не отвечала ему взаимностью. Охваченный безумной ревностью мальчик, страстный и импульсивный от рождения, застрелил её из отцовского ружья. Есть и другая, не менее ужасная, версия смерти девочки. Однажды братья Феликс и Станислав решили пострелять по мишени. Вдруг на линии огня появилась сестрёнка… Ей было всего 14 лет. Чья именно пуля её убила – Феликса или Станислава, – осталось неизвестным.
В 1894 году, будучи гимназистом Виленской гимназии, Дзержинский вошёл в социал-демократический кружок, в 1895 году вступил в партию «Социал-демократия Королевства Польского и Литвы» (СДКП и Л), вёл кружки ремесленных и фабричных учеников (получил от них имя «Яцек»), изучал марксизм.
В 1897 году Дзержинский вёл революционную работу в Ковно (ныне Каунас, Литва), выпускал на польском языке нелегальную газету «Ковенский рабочий». В июле 1897 года он был арестован и в августе 1898 года сослан на три года в Вятскую губернию, откуда через год бежал. В Варшаве участвовал в восстановлении разгромленной полицией социал-демократической организации. В январе 1900 года арестован и в январе 1902 года сослан на пять лет в Вилюйск, но в связи с болезнью был оставлен в Верхоленске. В июне 1902 года он бежал, вернулся в Варшаву.
В первой ссылке он повстречал свою первую же любовь, которая, как говорят, не забывается. Впрочем, о том, вспоминал ли уже состоявшийся революционер своё первое серьёзное увлечение прекрасным полом, мы ещё поговорим.
Итак, 1898 год, совсем юного Дзержинского отправляют в ссылку. На теплоходе он познакомился с Маргаритой Николаевой. Девушка разделяла взгляды революционеров, помогала им, печатая и распространяя запрещённую литературу. За это и поплатилась. Маргарита родилась в Саратовской губернии в семье сельского священника. Она получила домашнее образование, затем, упорхнула в Петербург, где на Бестужевских курсах и прониклась революционными идеями. Сражаться за правое дело Маргарита решила при помощи любимой литературы.