道南祠是杨时的弟子为纪念杨时而建造的。杨时自幼聪颖，人称神童，八岁就能写文章。他曾经拜大学问家程颢为老师。在与这为老师离别，南下创建东林书院时，老师曾看着他的背影感叹道：吾道南矣。“道南”二字便由此而来。