Как левый коммунист, выступал в ЦК против подписания Брестского мира, но, считая недопустимым раскол партии, при голосовании 23 февраля 1918 воздержался. 7 июля 1918 ушел в отставку с поста председателя ВЧК как свидетель по делу об убийстве сотрудниками ВЧК германского посла В. Мирбаха; 22 августа вновь назначен на этот пост. В качестве шефа ВЧК проводил жестокую политику репрессий против противников большевистского режима. Был инициатором массового террора, института заложников и т. п. Главной функцией ВЧК считал борьбу с контрреволюцией путем осуществления непосредственно репрессий, считал, что «право расстрела для ЧК чрезвычайно важно», и что «ЧК должна защищать революцию и побеждать врага, даже если меч ее при этом попадает случайно на головы невинных».
Нарком внутренних дел НКВД РСФСР (март 1919 – июль 1923). Член комиссии ЦК и Совета обороны (с января 1919 года, вместе с И. В. Сталиным), выяснявшей в Вятке причины поражений Красной Армии в районе Перми. Был одновременно наркомом внутренних дел и председателем военного совета войск ВОХР – военизированной охраны (март 1919 – июль 1923), а с ноября 1920 – войск ВНУС – внутренней службы, председатель Главного комитета по всеобщей трудовой повинности – Главкомтруд (с февраля 1920). Был председателем Комитета обороны Москвы (1919, 1920). Кандидат в члены Оргбюро ЦК РКП(б) (1920–1921), член Оргбюро (1921–1924), член Центральной контрольной комиссии РКП(б) (1920–1921).
После покушения на В. И. Ленина осуществлял «красный террор». Руководил борьбой с повстанческим движением на Украине. Во время войны с Польшей в 1920 являлся начальником тыла (возглавлял охрану революционного порядка) и членом Временного ревкома Польши и Польского бюро ЦК РКП(б), и одновременно был членом ЦИК Коммунистической рабочей партии Польши, действовавшего в Смоленске. Один из организаторов массового террора в Крыму (ноябрь 1920 – март 1921).
Председатель комиссии по выработке мер по усилению охраны государственных границ. Феликс Дзержинский считал, что «граница – есть линия политическая и охранять ее должен политический орган». И 24 ноября 1920 г. Совет труда и обороны принял решение передать дело охраны границ страны в ведение Особого отдела ВЧК. Части войск, обеспечивавшие войсковое прикрытие границ, также перешли в оперативное подчинение ВЧК. С этого момента пограничники на долгие годы стали чекистами.