Непродолжительное время им руководил Я. Давтян (Давыдов), а затем его сменил С. Могилевский. В 1922 году только-только встававшую на ноги советскую разведку возглавил и до конца 1920-х годов направлял ее деятельность профессиональный революционер, хорошо знакомый с методами разведывательной и контрразведывательной работы, М. Трилиссер. С 1901 года и вплоть до начала Первой мировой войны он занимался преимущественно выявлением агентов охранного отделения и полиции в большевистской среде.
С его приходом к руководству ИНО разведывательная работа приобрела более системный, масштабный и наступательный характер. Основными объектами ее устремлений являлись органы управления враждебных молодому советскому государству армий и различные белоэмигрантские организации и движения. Первоочередными задачами ИНО являлись получение упреждающей информации о военных приготовлениях, в первую очередь Польши и Японии, а также выявление замыслов лидеров белого движения по инспирированию в стране восстаний и организации «саботажнических действий».
Динамика внешней политической ситуации и образование Союза ССР привели к очередной реорганизации органов государственной безопасности. В июле 1923 года ГПУ было преобразовано в Объединенное государственное политическое управление (ОГПУ) СССР. Но ИНО не только сохранился в составе Секретно-оперативного управления, но и существенно укрепился. В 1925 году в его составе наряду с традиционными отделениями – легальной и нелегальной разведками – появились другие, в том числе ставшее впоследствии знаменитым 8-е отделение, занимавшееся сбором за границей информации о перспективных научных и технических разработках. Именно его сотрудники и их агентура первыми вышли на секреты атомного проекта США.
В феврале 1925 года Мелитопольский окружной комитет комсомола рекомендовал на службу в органы государственной безопасности будущего выдающегося организатора разведывательно-диверсионной деятельности, первого и бессменного руководителя знаменитого 4-го Управления НКВД – НКГБ СССР Павла Анатольевича Судоплатова. Жизнь этого безусловно талантливого и цельного человека, надежного и верного товарища, непревзойденного мастера разведывательных и контрразведывательных операций достаточно подробно описана в художественной и научно-популярной литературе. К его общеизвестному образу можно добавить лишь два штриха, которые, пожалуй, наиболее полно отражают незаурядную личность Павла Анатольевича – это верность избранным идеалам, своим друзьям и душевная щедрость.