天文3年（1516年）建造。
建物の面積はおよそ46坪、現存している木造建築としては伊豆諸島の中で最古最大の規模を誇り材質はすべて椎の木が使用されている。貴重な建築物として東京都の文化財に指定されている。
住居として使用中のため内部は非公開。

「篤姫」ゆかりの蘇鉄（そてつ）は植えられて150年余りを数える記念樹である。

樹齢450年のビャクシンの巨樹は、東京では最大級のビャクシンで天然記念物である。