В 1903 г. Дзержинский вновь бежал из ссылки. Несколько недель спустя он, теперь живая легенда, возник сначала в Берлине, потом в Кракове. Его новая невеста, Юлия Гольдман, была романтична, в духе призрачных героинь его стихов. Она умерла от туберкулеза в 1904 г. В 1905 г. Дзержинский вернулся в Варшаву и начал провоцировать бунты и забастовки. Забастовки и последующие аресты привели к уступкам и амнистиям со стороны нового правительства. Дзержинского уже считали ключевой фигурой в российском социал-демократическом движении. В 1906 г. он был на съезде в Стокгольме, где познакомился с Лениным, Сталиным, Ворошиловым, Рыковым и Плехановым. Ленину понравилась целеустремленность поляка. Он считал Дзержинского, как и Сталина, неотесанным, но ценным субъектом – послушным исполнителем любых заданий. Пройдут годы, и Дзержинский начнет тяготиться покровительственным отношением Ленина к себе.
В 1908 г. жандармы в очередной раз арестовали Дзержинского. Он просидел достаточно долго для того, чтобы полностью овладеть искусством допроса, доноса и возмездия. Очень многие из тех указаний, которые он через десять лет даст ЧК, основаны на практике царских следователей и надсмотрщиков или на его собственном опыте и наблюдениях о психологии заключенного. Дзержинский стал догматическим большевиком: спорил с еретиками, особенно с отрицавшими марксизм эсерами. Усердно занимался расследованиями, расчетами, очными ставками, чтобы выявить, кто из заключенных был стукачом, предателем или двойным агентом. Весь этот опыт он потом использует в чекистской работе.
Все это Дзержинский очень живо описывал в своем «Дневнике узника» («Pamiętnik więźnia»), напечатанном в польском «Красном знамени» («Czerwony sztandar») в мае 1908 – августе 1909 г. Странно, что будущий палач так же трогательно, как Виктор Гюго или Достоевский, описывал, что испытывают жертва, другие заключенные, смотрители при повешении, и подчеркивал гнусность и ужас смертной казни. Уму непостижимо, как Дзержинский мог забыть, когда сам посылал тысячи людей на расстрел, строки, написанные им всего за десять лет перед тем:
Ночью с 8-го на 9-е казнили польского революционера Монтвилла.
Пока еще было светло, сняли кандалы и перевели его в смертную камеру. Судили его 6-го. У него не было иллюзий, и 7-го он попрощался с нами через окошко, во время нашей прогулки. Его казнили в час ночи. Палач Егорка получил, как всегда, 50 рублей за работу. Анархист К. рассказал мне, стуча в потолок, что «они решили не спать всю ночь», и жандарм мне сказал, что одна мысль о казни «заставляет содрогаться и не можешь заснуть и постоянно ворочаешься». И после этого ужасного преступления здесь ничего не изменилось: ясные солнечные дни, солдаты, жандармы, смена караула, прогулка. Только в камерах стало тише, не слышно голосов, поющих песни, многие ждут своей очереди.