1967年，钱穆先生及夫人自香港来台觅地建屋，得外双溪今址，以江苏无锡祖宅里，母亲的居所“素书堂“之名，为隐居终老处所命名，以纪念母亲养育之恩。楼庭院内的一砖一石、一草一木都是主人多年的心血。