В 1924 году Блюмкин был назначен помощником полномочного представителя ОГПУ в Закавказье. В конце 1925 года он некоторое время работал ответственным сотрудником Наркомата торговли.
В 1926–1927 годах находился на оперативной работе за рубежом, являясь главным инструктором государственной внутренней охраны (службы безопасности) Монголии. Близость к Троцкому и быстрый карьерный рост вскружили Блюмкину голову, и он стал относиться к монгольским коллегам высокомерно и бестактно. В ноябре 1927 года по настоянию председателя ЦК Монгольской народно-революционной партии Дамбе-Дорчжи Блюмкин был отозван в Москву, где, несмотря на явную протекцию начальника ИНО ОГПУ Трилиссера, несколько месяцев оставался в резерве внешней разведки.
В 1928 году Трилиссер поручает Блюмкину ответственное задание – организовать нелегальную резидентуру на Ближнем Востоке. Он должен был обосноваться в Стамбуле, а затем создать нелегальную разведывательную сеть в Палестине и Сирии.
В сентябре 1928 года Блюмкин с паспортом на имя персидского купца Якуба Султанова выезжает из Одессы в Стамбул, где открывает магазин персидских ковров и успешно легализуется. Из Стамбула он совершает поездки в Иерусалим, Вену, Париж.
В марте 1929 года, находясь в Берлине, Блюмкин узнает о высылке из СССР в Турцию его кумира Льва Троцкого. Он принимает решение немедленно возвратиться в Стамбул, где 12 апреля встречается с сыном Троцкого Львом Седовым. 16 апреля встречается с самим «демоном революции» и в ходе продолжительной беседы заявляет, что «полностью передает себя в его распоряжение».
Блюмкин подробно инструктирует Троцкого относительно того, как организовать его личную охрану. Через Льва Седова он регулярно передает Троцкому секретные материалы и финансовые средства стамбульской нелегальной резидентуры ИНО ОГПУ. Одновременно соглашается нелегально переправить в СССР для активных участников оппозиции письмо Троцкого и несколько его книг. Вскоре «легальная» резидентура внешней разведки подробно информирует Москву о регулярных контактах Блюмкина с изгнанником.
В начале октября 1929 года Блюмкин был отозван из страны. В Москве он попытался объединить известных ему сторонников Троцкого. В частности, информировал видного троцкиста Карла Радека о своих встречах с Троцким в Стамбуле. Радек, находившийся в опале, немедленно сообщил об этой беседе Сталину. Одновременно Блюмкин рассказал своей близкой знакомой, сотруднице ИНО ОГПУ Елизавете Горской (в дальнейшем – видная советская разведчица-нелегал Елизавета Юльевна Зарубина), о своих контактах с троцкистами. Горская рекомендовала Блюмкину немедленно доложить о своих встречах руководству внешней разведки. Однако тот отказался. В свою очередь Горская поставила в известность о разговоре с Блюмкиным помощника начальника Иностранного отдела Михаила Горба. Тот дал ей указание прекратить все контакты с разведчиком.