崇文书院始建于明万历年间，当时御史叶永盛每逢春秋公务之闲暇，召集徽州籍子弟聚于跨虹桥西的湖面画舫中，现场出题考课，然后命各舟荡漾分散，称为“舫课”。叶永盛调离之后，徽商在跨虹桥西建院舍，称“紫阳崇文书院”。清康熙四十四年，康熙南巡，题榜“崇文”，遂更名为“崇文书院”。