«Hermitage» в переводе с французского означает «приют отшельника» или «место уединения». Павильон был предназначен Петром I для времяпрепровождения в узком кругу приближенных.
Небольшое двухэтажное здание окружено рвом, через который перекинут мостик. Центральная часть фасада выделена полукруглым фронтоном и широким окном с балконом. Над фронтоном некогда располагались скульптурные изображения. Стены здания покрыты горизонтальным рустом, поверх которого наложены пилястры коринфского ордера, объединяющие два этажа. Весь второй этаж павильона занят парадным залом-столовой, полностью изолированным от служебных помещений первого этажа. Для подачи блюд использовался специальный стол с подъемным механизмом (восстановлен в 2009 году). Стены зала украшены картинами работы западноевропейских мастеров в сплошной (так называемой «шпалерной») развеске.