Дом стоял главным фасадом к Неве, в глубине участка, на котором ныне стоят Эрмитажный театр и дом № 33 по Миллионной улице. С востока к нему примыкал участок с домом мастера Ф.М. Скляева, а с запада вдоль участка в 1718–1719 гг. прорыли Зимне-дворцовый канал (Зимнюю канавку). Сразу за каналом стоял дом обер-гофмейстера В.Д. Олсуфьева, а затем – гофмаршала Д.А. Шепелева. Выглядел 1-й Зимний дворец весьма скромно. По обе стороны двери на первом этаже по главному фасаду было всего по четыре окна. На втором этаже, представлявшем собой фактически мезонин и вовсе три окна. Крутую крышу, крытую черепицей, венчала небольшая башенка со шпилем.
По мнению некоторых историков, этот дом не являлся постоянным жилищем императора, здесь он останавливался во время кратких приездов в новую столицу. Вероятно, именно этим объясняются воспоминания тогдашнего датского посланника Ю. Юля, что дворцовый повар «бегал по городу из дома в дом, занимая для хозяина где блюдо, где скатерть, где тарелки, где съестные припасы, ибо с собой царь ничего не привез».
Незадолго до свадьбы Петра I и Екатерины I решили заменить деревянный дворец более просторным зданием из камня. «Зимние маленькие хоромы» разобрали и перевезли на Петровский остров. Там здание собрали вновь. Оно простояло в центре нынешней Петровской площади до начала XX в., пока не сгорело. Работами по возведению каменного дворца руководил архитектор Г.-И. Маттарнови (Маторнови), начались они в 1711 г. Но вскоре его отстранили, и строительство дворца возложили на архитектора Д. Трезини.
Этот уроженец итало-швейцарского местечка Думенцо, что близ города Лугано, приехал в Россию в 1703 г., оставив на родине свою первую жену, Джованну ди Вейтис. Ранее, получив архитектурное образование в Венеции, Трезини уехал в Данию. Там он рассчитывал найти работу у датского короля Кристиана V по строительству укреплений вокруг Копенгагена. Но к моменту его приезда королем Дании стал Фредерик IV, которому услуги Трезини в качестве архитектора не понадобились.
Послом России в Дании был А. Измайлов, который предложил Доменико Трезини наняться в качестве архитектора на службу к Петру I и поехать в Россию. Был заключен договор сроком на один год, согласно которому архитектору назначалось большое жалованье – 1000 руб. в год. Однако сложилось так, что Трезини задержался в России на всю жизнь.