Ближе к окончанию учебы в институте Гордиевского отправили в Восточный Берлин на полугодовую стажировку в качестве переводчика при советском посольстве. Уже одна мысль о предстоящей первой поездке за рубеж завораживала Олега, а когда его вызвали в Управление «С» для инструктажа по Восточной Германии, его буквально заколотило от возбуждения. Германская Демократическая Республика, во главе которой стояли коммунисты, была сателлитом СССР, но это отнюдь не избавляло ее от пристального внимания КГБ. Василий уже жил там нелегалом. Олег легко согласился встретиться с братом и выполнить несколько «маленьких поручений» для своего нового, пока неофициального работодателя. Гордиевский прибыл в Восточный Берлин 12 августа 1961 года и поехал в студенческое общежитие, находившееся внутри кагэбэшной зоны в Карлсхорсте, на берлинской окраине.
В предыдущие месяцы поток жителей Восточной Германии, бежавших на Запад через Западный Берлин, обрел характер стихийного бедствия. К 1961 году массовый исход немцев из страны, где утвердился коммунистический режим, достиг пика: количество беглецов насчитывало 3,5 миллиона, что составляло приблизительно 20 процентов от всего населения ГДР.
Проснувшись на следующее утро, Гордиевский обнаружил, что Восточный Берлин наводнен бульдозерами. Правительство ГДР по наущению Москвы перешло к радикальным мерам, чтобы перекрыть поток беглецов: началось возведение Берлинской стены – физического барьера, призванного отрезать Западный Берлин от Восточного и от остальной Восточной Германии. «Антифашистская защитная стена» (как она называлась официально) была в действительности внешней тюремной границей, и власти Восточной Германии строили ее для того, чтобы удерживать внутри собственных граждан. Берлинская стена – эти 240 километров бетона и проводов с бункерами, противотранспортными рвами и ограждениями из проволочной сетки – явилась материальным воплощением «железного занавеса» и стала одним из самых отвратительных сооружений, когда-либо возводившихся руками человека.
Гордиевский, застыв от ужаса, наблюдал за тем, как восточногерманские рабочие разрушали проезжую часть улиц, примыкавших к границе, а солдаты разворачивали мотки колючей проволоки – километры проволоки. Кое-кто из восточных немцев, видя, как единственный путь к побегу быстро перекрывается, совершал отчаянные попытки вырваться на свободу – смельчаки лезли на баррикады и пытались переплыть каналы, которые кое-где служили границей. Военные, выставленные вдоль границы, получили приказ стрелять по каждому, кто попытается бежать с востока на запад. На двадцатидвухлетнего Гордиевского новая стена произвела неизгладимое впечатление: «Один только физический барьер, охраняемый вооруженными пограничниками на дозорных вышках, мог удержать восточных немцев в их социалистическом раю и не дать им сбежать на Запад».