В то время он действительно был близко знаком с Львом Троцким и тесно сотрудничал с ним. Часто его, одетого в рясу, видели с Троцким с одной машине. Поэтому неудивительно, что летом 1928 года Флоренский был арестован и сослан в Нижний Новгород. Однако в том же году по ходатайству влиятельных знакомых в Москве возвращен из ссылки и восстановлен на прежнем месте работы.
После этого в печати против ученого развернули кампанию ожесточенной травли, которая привела в 1933 году к его повторному аресту по ложному обвинению и высылке на Дальний Восток – в один из лагерей БАМЛАГа ОГПУ.
Дочь Флоренского Ольга записала тогда в своем дневнике: «Папу арестовали 25 февраля 1933 года в Лефортове. Взяли рукописи, часы, серебряные ложки… А через некоторое время, примерно через неделю (папа был еще в тюрьме), увезли книги… Нагрузили книгами целую машину с верхом. Описи не сделали. Кабинет опечатали с тем, что вскоре снова приедут… Больше не приезжали». Опечатанный чекистами кабинет простоял закрытым несколько лет.
Почти год проработал Флоренский на опытной станции в Сковородине, сырой и мерзлотной. В лагере ученый сильно заболел, у него началось воспаление нервных стволов. Эта болезнь всегда сопровождается постоянной и невыносимой болью в области всего позвоночника. Следователь же, знавший о его недуге, постоянно издевался над ним, приговаривая: «А я еще так сделаю, что и моча тебе в голову ударит».
Дочь Ольга, приехавшая навестить отца в тюрьме, спросила, кого из старых своих знакомых он может порекомендовать ей в качестве духовного наставника. Этот вопрос заставил ее голодного и больного отца сильно и надолго задуматься. Через некоторое время он поднял на нее глаза и проговорил: «Сейчас такое страшное время, что каждый должен отвечать сам за себя». Затем Ольга спросила, почему он перестал быть священником. Отец вспыхнул, передернулся и начал с жаром говорить ей, что он всю свою жизнь стремился лишь к тому, чтобы служить священником, и что сана никогда с себя не снимал.
В августе 1934 года заключенный Флоренский был вывезен спецконвоем из Сковородина на Кемский пересыльный пункт (на Попов остров), откуда отправляли на Соловки.
Дочь Ольга вспоминает об этой высылке в своем дневнике: «За папой следовал охранник. Подошел поезд, папа простился, вошел в вагон и стоял в дверях. Охранник сзади него стоял».