Вторым своим врагом Чичерин считал ГПУ:
«Руководители ГПУ были тем невыносимы, что были неискренни, лукавили, вечно пытались соврать, надуть нас, нарушить обещания, скрыть факты… Аресты иностранцев без согласования с нами вели к миллионам международных инцидентов, а иногда после многих лет оказывалось, что иностранца незаконно расстреляли (иностранцев нельзя казнить без суда), а нам ничего не было сообщено.
ГПУ обращается с НКИД как с классовым врагом… Ужасная система постоянных сплошных арестов всех частных знакомых инопосольств… Еще хуже вечные попытки принудить или подговорить прислугу, швейцара, шофера посольства и т. д. под угрозой ареста сделаться осведомителями ГПУ… Некоторые из самых блестящих и ценных наших иностранных литературных сторонников были превращены в наших врагов попытками ГПУ заставить путем застращиваний их знакомых или родственников их жен осведомлять об них ГПУ…
Внутренний надзор ГПУ в НКИД и полпредствах, шпионаж за мной, полпредами, сотрудниками поставлен самым нелепым и варварским образом…»
Скандалы между двумя ведомствами возникали на каждом шагу, и Чичерин был возмущен тем, что чекисты не церемонятся с наркоматом иностранных дел.
В марте 1921 году сотрудники ЧК арестовали сотрудника НКИД, подозревая его в шпионаже. Дзержинский сообщил об аресте Ленину, но Чичерину ничего не сказал. Нарком даже не мог узнать, за что именно задержали его подчиненного.
Чичерин написал Дзержинскому злое письмо:
«Или надо окружить Россию китайской стеной, или надо признать, что ее международные интересы являются коренными интересами ее, и действия во вред им бьют по республике.
Если это не останавливает некоторых Ваших агентов, не позволяйте им этого. Мы знаем их уровень… Думаю, что имею политическое и моральное право настаивать, чтобы мне, наконец, сообщили, в чем дело».
ОГПУ старалось проникать в иностранные посольства в Москве, расшифровывать телеграммы, которыми посольства обменивались со своими странами. Часто действовали неумело, и, когда посольства это обнаруживали, возникал скандал. Объясняться приходилось наркомату иностранных дел.
Политбюро не один раз создавало комиссии для разрешения споров между НКИД и ОГПУ. В 1923 году такую комиссию возглавлял секретарь ЦК Вячеслав Молотов, в 1928-м председатель Центральной контрольной комиссии Серго Орджоникидзе.