Дворец вице-канцлера Михаила Илларионовича Воронцова был одним из самых роскошных частных домов Петербурга. Сам Растрелли описывал его так: «Я построил большой каменный трехэтажный дворец, принадлежащий Его Превосходительству вице-канцлеру графу Воронцову. Это здание возведено вблизи большой Перспективы, фасад со стороны большого двора длиной 55 туазов [109 метров], посредине этого фасада — большой въезд для карет, где с каждой стороны имеется большой портик с колоннами дорического ордера; в одном из этих портиков имеется большая парадная лестница с двойным маршем, внутренние стены расписаны фресками весьма искусным живописцем из Болоньи; большой зал также расписан фресками того же мастера. Апартаменты состоят из более чем 50 покоев, включая галерею, библиотеку и часовню. Снаружи — большой сад и средний двор, окруженный очень хорошо расположенными апартаментами. По сторонам большого двора построены двухэтажные флигели для служб, кухонь и для квартир прислуги; кроме того отдельное здание для конюшен и каретных сараев; целиком каменное».
К сожалению, первоначальная внутренняя отделка дворца не сохранилась. Проезд для карет ныне заложен и обращен в вестибюль. Заслуживает внимание замыкающая парадный двор чугунная ограда, исполненная по рисункам Растрелли.
В 1763 году граф Воронцов был вынужден продать дворец в казну. В конце 1790-х годов дворец был передан императором Павлом I Мальтийскому ордену. В 1798—1800 годах во дворе усадьбы архитектором Дж. Кваренги была пристроена католическая церковь Рождества Иоанна Предтечи («Мальтийская капелла»), сохранившаяся до сих пор.
С 1810 года во дворце располагался Пажеский корпус. В настоящее время здесь размещается Санкт-Петербургское суворовское военное училище.