В ноябре 1963 г. в газете «Вечерний Ленинград» была опубликована статья «Окололитературный трутень». О Бродском и его стихах в статье говорилось следующее: «Он подражал поэтам, проповедовавшим пессимизм и неверие в человека, его стихи представляют смесь декадентщины, модернизма и самой обыкновенной тарабарщины. Жалко выглядели убогие подражательные попытки Бродского. Впрочем, что-либо самостоятельное сотворить он не мог: силёнок не хватало. Не хватало знаний, культуры. Да и какие могут быть знания у недоучки, не окончившего даже среднюю школу?» В конце статьи содержался прямой призыв оградить Ленинград и ленинградцев от Бродского: «Очевидно, надо перестать нянчиться с окололитературным тунеядцем. Такому, как Бродский, не место в Ленинграде».
Вечером 13 февраля 1964 г. Бродский был арестован. Через несколько дней его поместили в психиатрическую больницу. Врачи признали Бродского психически здоровым и трудоспособным. По решению суда 13 марта 1964 г. Бродский был осуждён за тунеядство и выслан из Ленинграда. Ссылку поэт отбывал в Архангельской области, в деревне Норинская.
О своей жизни в ссылке Бродский впоследствии писал: «Сначала я жил у добрейшей доярки, потом снял комнату в избе старого крестьянина. То немногое, что я зарабатывал, уходило на оплату жилья, а иногда я одалживал деньги хозяину, который заходил ко мне и просил три рубля на водку». Тем не менее, Бродский всегда хорошо вспоминал о ссылке. Годы спустя, в одном из интервью на вопрос: «Как на Вашу работу повлияли суд и заключение?», – поэт ответил: «Вы знаете, я думаю, это даже пошло мне на пользу, потому что те два года, которые я провёл в деревне, – самое лучшее время моей жизни. Я работал тогда больше, чем когда бы то ни было. Днём мне приходилось выполнять физическую работу, но поскольку это труд в сельском хозяйстве, а не работа на заводе, существовало много периодов отдыха, когда делать нам было нечего». Бродскому даже удалось опубликовать одно стихотворение, которое 4 сентября 1965 г. напечатали в поселковой газете «Призыв». Гонорар поэта составил два рубля.
Творческая интеллигенция пыталась ходатайствовать перед властями о помиловании талантливого поэта. В защиту Бродского было составлено письмо, которое подписали 20 известных поэтов, музыкантов, писателей, в том числе К. И. Чуковский, А. А. Ахматова, С. Я. Маршак, Д. Д. Шостакович. В результате Бродскому в 1965 г. разрешили вернуться в Ленинград. В ссылке он пробыл год и пять месяцев.