花园建于明代弘治十六年（公元1503年），重修扩建孔府时同时修建，由长沙李东阳监工设计。李东阳的女儿嫁到了孔府，后来严嵩的孙女嫁到孔府时也大修宅院和后花园，最后一次大修后花园是乾隆把女儿嫁到孔府时。