Из «низов» послышались нарекания, что размещенные на рукавах знаки различия не видны в строю. Начиная с апреля 1936 г. чины госбезопасности «персональные» звезды в предыдущем количестве стали носить на петлицах. Размещались они на продольной золотой (серебряной) полосе. Младшие лейтенанты и сержанты ГБ имели на петлицах соответственно по три и два усеченных треугольника на серебряных продольных полосах.
Постановлением ЦИК и СНК СССР от 10 июля 1937 г. личный состав органов ГУГБ был переведен на систему знаков различия РККА. Были приняты и аналогичные армейским знаки различия на петлицах: покрытые красной эмалью посеребренные «ромбы», «шпалы» и «квадраты». Просуществовали они до февраля 1943 г. Соответственно: генеральный комиссар ГБ – большая золоченная вышитая звезда; комиссар ГБ 1-го ранга – четыре ромба и над ними звезда цвета золота; комиссары ГБ 2–3-го рангов, старший майор, майор ГБ – четыре, три, два и один ромбы; капитан, старший лейтенант и лейтенант ГБ – три, две и одна «шпалы»; младший лейтенант и сержант ГБ – три и два квадрата («кубари»).
В 1935–1937 гг. отличительные особенности в знаках различия имели сотрудники госбезопасности, проходившие службу в особых отделах (контрразведке). В телеграмме (сентябрь 1935) на имя Сталина (находился на отдыхе в Сочи) Г. Ягода писал, что армейские особисты носят форму и знаки различия, отличные от командного и начальствующего состава РККА, что затрудняет их деятельность в частях, казармах и складах, поскольку ведет к их расконспирированию и невозможности осуществления агентурной работы. В объявленном в мае 1936 г. «Положении об особых органах ГУГБ НКВД СССР» отмечалось: сотрудники особых отделов корпусов, флотов, особых отделений дивизий, бригад, укрепрайонов, флотилий, а также отдельные оперативные работники, прикрепленные к частям и учреждениям РККА, носят форму одежды и знаки различия военно-политического состава соответствующих родов войск согласно их персональным званиям органов госбезопасности: 2 ромба – старший майор ГБ, 1 ромб – майор ГБ, капитан, старший лейтенант и лейтенант ГБ – соответственно 3, 2 и 1 прямоугольник («шпалы»). Младший лейтенант и сержант госбезопасности ограничились тремя квадратами («кубарями»). На рукавах все сотрудники особых отделов обязывались носить красные пятиконечные звезды военно-политического состава РККА.