В 1819–1829 годах на месте жилых домов К.И. Росси строит два протяжённых здания. В одном разместился Главный штаб, в другом – два министерства: иностранных дел и финансов. Оба здания он объединил аркой. Длина дуги здания получилась около 580 метров. Фасад здания стал на тот момент самым длинным в Европе. Кстати, на крыше южного корпуса можно видеть стеклянный купол. Он воздвигнут над библиотекой. 24 февраля 1900 года в библиотеке Главного штаба произошёл пожар. Сгорел круглый зал и 12 000 книг. В 1905 году круглый зал был восстановлен, над ним и возвели стеклянный купол.
При проектировании арки Росси планировал установить на ней две женские фигуры, поддерживающие российский герб. Этот замысел был одобрен Александром I, но не принят Николаем I. Тогда-то и появилось решение установить здесь конную группу. На арку была помещена колесница Победы и фигуры воинов, олицетворявшие славу России, победившей в войне 1812 года. Кони были вычеканены по моделям В.И. Демут-Малиновского, а колесница – по модели С.С. Пименова. Впервые фигуры были выполнены из листовой меди в технике выколотки.
Триумфальная колесница, запряжённая шестёркой коней, парит на высоте 36 метров. Их сдерживают двое воинов, одетых в римские доспехи и вооружённых копьями. В повозке стоит крылатая Слава, простирающая левой рукой штандарт над площадью. В правой руке богини – лавровый венок. Скульптурная композиция раскрывает сущность памятника, символа воинской славы. Этот мотив продолжен во всех элементах арки: орнаменты на стенах арки сложены из воинских трофеев и венков, воинские трофеи размещены при входе на арку с Дворцовой. Победителей приветствуют фигуры богини Славы, стремительно летящие на ядре и протягивающие им лавровые венки и пальмовые ветви. Завершая композицию, на площади, на уровне второго яруса окон штаба, застыли в приветствии фигуры часовых в античных доспехах, протягивая лавровые венки в сторону входящих на площадь.
Эта арка стала первой каменной триумфальной аркой города и была торжественно открыта в октябре 1824 года. Интересно, что открытие арки совпало с возвращением гвардии, которая воевала на южных подступах России с Османской империей. Две другие триумфальные арки – Нарвские ворота, а затем Московские ворота – появились позднее.
По одной из легенд, Николай I усомнился в надёжности Триумфальной арки: «А что, братец, вот иностранцы сомневаются: выдержит ли арка собственный вес». Чтобы подтвердить качество своей работы, архитектор вместе со всеми рабочими поднялся на крышу арки. Как оказалось, сооружение выдержало их вес.