Проспект вверх по Неве реке между Зимним дворцом и Петропавловской крепостью. Раскрашенная гравюра по рис. М.И. Махаева. 1753 г. Слева вверх по течению показаны: здание Академии наук (бывший дворец Прасковьи Федоровны); укрепления Петропавловской крепости и собор Петра и Павла. Справа вверх по течению показано здание 4-го Зимнего дворца
При Елизавете Петровне дворец постоянно продолжал расширяться, непрерывно проводились ремонтные и отделочные работы. Постепенно он вобрал в себя стоявшие рядом дома генерал-аншефа П.И. Ягужинского и графа С.В. Рагузинского, выкупленные в 1754–1755 гг. в казну. Кем построен трехэтажный каменный дом Рагузинского, неизвестно. А строительство дома Ягужинского начал по распоряжению Петра I за казенный счет в 1715 г. Ф. Васильев, в 1718 г. к работам по его строительству привлекли архитектора И. Маттарнови.
Со стороны Адмиралтейства пристроили деревянные палаты, подходившие к самому гласису. Со стороны Дворцового луга рядом с дворцом появился длинный ряд деревянных конюшен, сараев и каких-то других неряшливых хозяйственных построек.
В результате к началу 1750-х гг. дворцовый комплекс стал представлять собой беспорядочное скопище самых разностильных построек. Императрица его не любила, да и не соответствовал он уже выросшим потребностям Царского двора. Современники отмечали, что дворец приобрел «вид грязный, не достойный места, им занимаемого, и сама его странность не могла быть приятна государыне».
Первоначально В.В. Растрелли не пользовался у Елизаветы Петровны особой милостью и долгое время не мог получить звание обер-архитектора, хотя строительными заказами его не обходили. В 1744 г. он завершает строительство Аничкова дворца и занимается отделкой Летнего дворца императрицы (на месте нынешнего Инженерного замка), в 1747 г. перестраивает дворец в Петергофе, а в 1748 г. ему поручается строительство Смольного монастыря.
Звание обер-архитектора Растрелли получит только после того, как в 1748 г. собрался уже покинуть Россию. Но за это ему приходится расплачиваться поистине колоссальным объемом работы. В 1748 г. по его проекту и под его руководством начинается строительство Смольного монастыря, длившееся семь лет, а также строительство Большого (Екатерининского) дворца в Царском Селе, которое сначала начиналось как простая переделка старого здания. В 1749–1757 гг. архитектор строит дворец для канцлера М.И. Воронцова (ныне – Суворовское училище на Садовой улице), а в 1752–1754 гг. – дворец для графов Строгановых на Невском проспекте.