По прибытии в Москву Яков Серебрянский был зачислен в штат Особого отдела ВЧК. Начальником отдела в тот период был Вячеслав Рудольфович Менжинский – член Коллегии ВЧК.
Однако уже 3 мая 1921 года из Особого отдела Серебрянский был переведен на должность секретаря в Административно-организационное управление (АОУ) ВЧК.
Начальником управления был назначен Иван Андреевич Апетер, служивший в ВЧК с 1918 года. Управление ведало разработкой структуры ВЧК, штатами, подбором и расстановкой кадров, изданием приказов, составлением смет, командированием и увольнением сотрудников, а также проверкой работы губернских ЧК. То есть решало достаточно важные задачи, но не являлось оперативным. Сейчас трудно сказать, связан ли был переход Серебрянского на работу в АОУ с его собственным желанием. Но, скорее всего, такое неожиданное решение было продиктовано обострением политической ситуации: Серебрянский являлся бывшим правым эсером и к тому же не был членом РКП(б).
Впрочем, служба Серебрянского в центральном аппарате ВЧК длилась недолго. В августе 1921 года он увольняется из ВЧК по демобилизации и поступает на учебу в созданный в феврале того же года Московский электротехнический институт народной связи им. В. Н. Подбельского (в настоящее время – Московский технический университет связи и информатики). Здесь стоит отметить, что ряд будущих подчиненных Серебрянского в свое время также закончили именно этот вуз.
Что касается супруги Серебрянского Полины Натановны, то в 1921 году она стала членом ВКП(б) и начала работать в Краснопресненском райкоме партии.
К сожалению, не успел Яков проучиться в институте и одного семестра, как случилось нечто неожиданное – он был арестован своими же бывшими коллегами-чекистами. А произошло следующее. Работая в ВЧК, Серебрянский одновременно продолжал поддерживать приятельские отношения со своими бывшими друзьями-эсерами. В дальнейшем это обернулось для него большими неприятностями.
2 декабря 1921 года Серебрянский зашел в гости к своему старому товарищу – бывшему правому эсеру Давиду Абезгаузу и попал в устроенную там чекистами засаду. Почти четыре месяца провел Яков в тюрьме. Следствие тщательно изучало вопрос о его возможной принадлежности к правым эсерам, деятельность которых в то время в Советской России была запрещена.