Третьей задачей специального отдела является надзор за тюрьмами и местами заключения по всему Советскому Союзу, охрану же их несут войска ГПУ. При отделе имеется канцелярия, фабрикующая всевозможные документы (паспорта, фальшивые удостоверения и пр.), необходимые для той или иной цели в работе ГПУ.
Начальником отдела состоит Бокий, бывший полпред ВЧК, буквально терроризировавший Туркестан в 1919–1920 годах. О нем еще и сейчас, десять лет спустя, ходят легенды в Ташкенте, что он любил питаться сырым собачьим мясом и пить свежую человечью кровь. Несмотря на то что Бокий только начальник отдела, он, в исключение из правил, подчиняется непосредственно Центральному комитету партии и имеет колоссальное влияние в О ГПУ. Подбор сотрудников в специальном отделе хорош, и работа поставлена образцово.
Пограничный отдел (ПО) управляет войсками особого назначения О ГПУ, всеми пограничными войсками и ведет борьбу с контрабандой. Все таможни обязаны иметь тесный контакт с ПО и фактически подчиняются ему. Начальник отдела Вележев был прежде помощником Трилиссера по иностранному отделу. Это идейно убежденный коммунист, хотя в партии состоит только с 1920 года. В 1924 году его послали под фамилией Ведерников в Бизерту на приемку от Франции флота Врангеля, затем под этой же фамилией он ездил в Китай и был там одним из руководителей китайской революции и организатором работы ГПУ.
Начальником иностранного отдела (ИНО) и вторым заместителем председателя ОГПУ был до недавнего времени Трилиссер. Ныне его сменил Мессинг, бывший до того полномочным представителем ГПУ в Ленинграде. ИНО обслуживает исключительно заграницу. При каждом полпредстве и крупном консульстве он имеет своего полуофициального представителя, которому иногда придаются помощники. Эти представители, или резиденты ГПУ, занимают главным образом должности второго секретаря или атташе при полпредстве, но иногда устраиваются в торгпредствах и в других хозяйственных учреждениях за границей.
Работа иностранного отдела заключается в освещении политического и экономического положения иностранных государств, в добыче всевозможных документов, имеющих ценность для советского правительства, в выявлении отправляемых в СССР разведчиков других стран, освещении жизни эмиграции, разложении эмигрантских организаций, и пр. и пр. Этот отдел, кроме самостоятельных заданий, обязан выполнять и задания других отделов ОГПУ, поскольку дело касается заграницы. Кроме того, на обязанности его лежит освещение работы советских дипломатических и хозяйственных учреждений.