「おとめ山」一帯は、江戸時代の将軍家の狩猟地で、立ち入り禁止の意味の「御留山」からつけられた名といわれています。明治以降は、山を南北に分けて、北側を近衛家、南側を相馬家が所有しました。庭園は池泉回遊式のもので、大正3年に長岡安平が築造したものです。