Третьей задачей специального отдела является надзор за тюрьмами и местами заключения по всему Советскому Союзу, охрану же их несут войска ОГПУ. При отделе имеется канцелярия, фабрикующая всевозможные документы (паспорта, фальшивые удостоверения и пр.), необходимые для той или иной цели в работе.
Начальником отдела состоит Бокий, бывший полпред ВЧК, буквально терроризировавший Туркестан в 1919–1920 годах. О нем еще и сейчас, десять лет спустя, ходят легенды в Ташкенте, что он любил питаться сырым собачьим мясом и пить свежую человечью кровь. Несмотря на то что Бокий только начальник отдела, он, в исключение из правил, подчиняется непосредственно Центральному Комитету партии и имеет колоссальное влияние в ОГПУ. Подбор сотрудников в специальном отделе хорош, и работа поставлена образцово.
Пограничный отдел (ПО) управляет войсками особого назначения ОГПУ, всеми пограничными войсками и ведет борьбу с контрабандой. Все таможни обязаны иметь тесный контакт с ПО и фактически подчиняются ему. Начальник отдела Вележев был прежде помощником Трилиссера по иностранному отделу. Это идейно убежденный коммунист, хотя в партии состоит только с 1920 года. В 1924 году его послали под фамилией Ведерникова в Бизерту на приемку от Франции флота Врангеля, затем под этой же фамилией он ездил в Китай и был там одним из руководителей китайской революции и организатором работы ОГПУ.
Начальником иностранного отдела (ИНО) и вторым заместителем председателя ОГПУ был до недавнего времени Трилиссер. Ныне его сменил Мессинг, бывший до того полномочным представителем ОГПУ в Ленинграде. ИНО обслуживает исключительно заграницу. При каждом полпредстве и крупном консульстве он имеет своего полуофициального представителя, которому иногда придаются помощники. Эти представители, или резиденты ОГПУ, занимают, главным образом, должности второго секретаря или атташе при полпредстве, но иногда устраиваются в торгпредствах и в других хозяйственных учреждениях за границей.
Работа иностранного отдела заключается в освещении политического и экономического положения иностранных государств, в добыче всевозможных документов, имеющих ценность для советского правительства, в выявлении отправляемых в СССР разведчиков других стран, освещении жизни эмиграции, разложении эмигрантских организаций и пр. и пр. Этот отдел, кроме самостоятельных заданий, обязан выполнять и задания других отделов ОГПУ, поскольку дело касается заграницы. Кроме того, на обязанности его лежит освещение работы советских дипломатических и хозяйственных учреждений.