1936年，上海怡和洋行老板潘志铨向禅源寺租地营建，为其父潘澄波颐养天年，故名“留椿”，留椿屋是一栋西洋式的别墅，在以前也称“潘庄”。抗战时期，这里是浙西行署的首脑机关，周恩来也下榻于此，在这里与黄绍宏会晤。