С этого времени карьера И. Д. Путилина стала стремительно продвигаться, благодаря удивительным способностям и прилежанию молодого человека. Понимая, что свидетельство об окончании четырехклассного училища не поспособствует его продвижению по службе и улучшению материального положения, Иван Путилин по вечерам самостоятельно осваивал гимназический курс наук. 31 мая 1853 года экстерном сдал экзамены в Санкт-Петербургском университете на аттестат, дававший право на причисление ко 2-му разряду гражданских чиновников, а в ноябре 1854 года юноша подал прошение о переводе его на должность младшего помощника квартального надзирателя (самая низшая должность в структуре полиции того времени). Прошение было удовлетворено, и Ивана Дмитриевича назначили младшим помощником надзирателя в 4-й квартал 1-й Адмиралтейской части на довольно непростой участок – городской Толкучий рынок. Толкучий рынок на Сенной площади не был спокойным местом службы, и молодому полицейскому постоянно приходилось искать и ловить за руку мелких воришек и нечестных барышников, надеясь только на себя. Служа на низших полицейских должностях, он получил опыт сыскной работы и оттачивал свое оперативное мастерство.
Иван Дмитриевич скрупулезно изучал криминальный мир, открыв свой природный актерский талант на государевой службе. Во время служебных операций в ход шли все средства театрального грима. Он наряжался оборванцем, мастеровым, портовым грузчиком, подкрашивал нос, создавал искусственные кровоподтеки и – хорошо замаскированным агентом – отправлялся на охоту. Бродягой он посещал притоны и постоялые дворы, изучал речь, манеру говорить, криминальный сленг, запоминал лица и разговоры. Случалось ему быть битым как преступниками, так и служителями порядка, не узнавшими его. Путилин стал мастером перевоплощения и получил неоценимый опыт, который неоднократно помогал ему в раскрытии преступлений. Не прошло и года, и молодой полицейский получил первое поощрение от начальства за удачно раскрытое преступление. А карьеру, учитывая его происхождение, отсутствие связей и, мягко говоря, равнодушие к «книжному ученью», этот молодой провинциал сделал головокружительную – в 1866 году, в возрасте тридцати шести лет, Путилин возглавил Управление столичной сыскной полиции и оставался его бессменным начальником почти до самой своей смерти (умер в 1893 году).