В ноябре 1936 года нелегалам СГОН, которыми непосредственно руководил Б. М. Афанасьев, с помощью агента М. Зборовского(«Тюльпан»), внедренного в окружение сына Троцкого Льва Седова, удалось похитить часть архива Международного секретариата троцкистов. Несколько ящиков с бумагами было передано легальному резиденту ИНО в Париже Г. Н. Косенко (Кислову), а затем отправлено в Москву.
С декабря 1936 года – начальник Спецгруппы Секретариата НКВД СССР.
Одним из объектов разработки советской разведки в этот период был Лев Седов («Сынок»). В 1937 году по указанию отца он приступил к работе по организации 1-го съезда IV Интернационала, который должен был открыться летом 1938 года в Париже. В связи с этим Центр принял решение о похищении Седова. Проведение операции было поручено Серебрянскому.
План похищения «Сынка» был детально проработан. В подготовке операции участвовало 7 сотрудников Спецгруппы, в том числе и жена Серебрянского. Однако похищение Седова так и не состоялось – в феврале 1938 года он умер после операции по удалению аппендикса.
Летом 1938 года Серебрянский был отозван из Франции и 10 ноября 1938 года вместе с женой арестован в Москве прямо у трапа самолета. До 13 февраля 1939 года содержался под стражей без санкции прокурора. 21 февраля 1939 года был уволен из НКВД в связи с арестом.
В ходе следствияСеребрянского подвергали так называемым интенсивным методам допроса – избиениям. Он был принужден дать подложные показания. 25 января 1939 года был переведен в Лефортовскую тюрьму.
На допросе в 1954 году Серебрянский показал, что еще до суда, т. е. на предварительном следствии, он отказывался от показаний, в которых признавал себя виновным и оговаривал других.
В результате 4 октября 1940 года следователем СЧ (Следственная часть) ГУГБ НКВД лейтенантом ГБ Перепелицей было составлено следующее обвинительное заключение:
«ОБВИНИТЕЛЬНОЕ ЗАКЛЮЧЕНИЕ
10 ноября 1938 г. органами НКВД СССР был арестован подозреваемый в шпионской деятельности СЕРЕБРЯНСКИЙ Яков Исаакович.
Проведенным по делу следствием установлено, что СЕРЕБРЯНСКИЙ, в прошлом активный эсер, дважды арестовывался органами ОГПУ и при содействии разоблаченных врагов народа проник в органы советской разведки.
В 1924 г., будучи в Палестине, был завербован эмигрантом ПОКРОВСКИМ для шпионской деятельности в пользу Англии.