Возведение существующего каменного дворца началось в 1711 году и вчерне было завершено год спустя. Изначально дворец с трех сторон был окружен водой, находясь на мысе между Невой, Фонтанкой и небольшой искусственной гаванью. Во второй половине XVIII века при возведении каменной набережной Невы берег был подсыпан и дворец оказался отодвинут от набережной.
Проект дворца составил, вероятно, Доменико Трезини. В 1713—1714 годах велись работы по внутренней и внешней отделке здания, в которых мог принимать участие архитектор и скульптор Андреас Шлютер. С именем Шлютера связывают создание на фасадах дворца барельефов-аллегорий, прославляющих победы русского флота.
На протяжении своего существования дворец не претерпел значительных изменений. Внешний облик компактного, прямоугольного в плане здания со скромными фасадами типичен для петербургских построек петровского времени. Оконные наличники имеют простой рисунок, углы здания обработаны рустом. Единственное указание на высокий статус царского дворца — скульптурные барельефы между окнами первого и второго этажей. В ряде внутренних помещений сохранилась первоначальная отделка резными деревянными панелями и изразцами, живописные плафоны, лепнина, изразцовые печи.