Собственно Эрмитажем являлся павильон на противоположной, северной стороне Висячего сада. Строившийся в 1767–1769 годах по проекту Валлен-Деламота, в екатерининские времена он звался по фамилии создателя Ламотовым (ныне Северный). Карьера его автора состоялась благодаря графу Шувалову, пригласившему молодого француза в Россию на должность архитектора при Московском университете. Заключив трехлетний контракт, Валлен-Деламот переехал в Санкт-Петербург, где остался на четверть века. Первой крупной его работой стал Гостиный двор на Невском проспекте, далее он строил костел Святой Екатерины, дворец графа И. Г. Чернышова, склады «Новая Голландия» и часть здания Академии художеств.
Одной из лучших работ архитектора является примыкающее к Зимнему дворцу здание Малого Эрмитажа. Горизонтальные членения выходящего на Неву фасада согласуются с архитектурой дворца, подчеркивая ансамблевый характер застройки набережной. Характерная для раннего классицизма ясность композиции здесь, как и во всех постройках Валлен-Деламота, сочетается с барочной пластичностью форм. Он долго преподавал в петербургской Академии художеств, был удостоен звания профессора и подготовил учеников, среди которых был Иван Егорович Старов (1745–1808), впоследствии перестроивший ряд интерьеров Зимнего дворца. Пожилого архитектора уволили со службы с пенсией 400 рублей в год. После этого он вернулся в родной Ангулем, где прожил остаток жизни в забвении и бедности.
Императрица отдыхала от государственных дел в тишине Висячего сада, находила уединение в комнатах, расположенных в центре Ламотова павильона. В одном из угловых кабинетов проходили камерные вечера со спектаклями, играми и танцами, куда приглашали только «приятных людей»: друзей, фаворитов, актеров, писателей и просто интересных собеседников.
В середине XIX века на месте комнат Екатерины был устроен парадный зал с видом на Неву, а кабинеты остались как напоминание о веселых эрмитажных собраниях, обычно завершавшихся ужинами без прислуги. Кроме прочей мебели, здесь стояли механические столы, которые сервировались в кухнях первого этажа и с помощью особого устройства поднимались наверх. Гостям предлагали забыть о делах, держаться непринужденно, подчиняясь несерьезному этикету, составленному лично императрицей. Начертанные на доске правила висели при входе, и каждый, кто не удосуживался обратить на них внимание, подвергался наказанию, например выпивал стакан холодной воды. Злостного нарушителя наказывали строже, обычно заставляя прочесть наизусть отрывок из «Тилемахиды» В. К. Тредиаковского.