宋仁宗赵祯封孔子46代孙孔宗愿为“衍圣公”后，开始在孔庙外建造衍圣公府，所以孔府又称衍圣公府。孔府现在的规模就是明朝弘治年间建造的，只是清朝光绪当皇帝时，孔府内宅发生火灾，所以除了大门、仪门、大堂、等外围建筑外，其他基本是清朝重修或扩建的。