退思园建于清光绪十一年至十三年，布局独特，亭台楼阁一应俱全，并以池为中心，诸建筑如浮水上。内宅建有南北两幢楼，以园主字号名为畹芗楼，是园主与家眷起居之处。楼与楼之间由“走马楼”回廊贯通，南北一式落地长窗，五楼屋底挂落栏槛，檐廊相接，典雅明敞。