Павильон был возведен крепостным архитектором Ф. Аргуновым в 1755-1761 годах, а затем до 1775 года его внутренней отделкой занимался "гротических дел" мастер немец Иоганн Фохт. Грот в Кускове - единственное сооружение такого рода в России, сохранившее первоначальную отделку раковинами, туфом, стеклом, кусочками зеркал и гипсовой лепниной.