孝严祠位于天波楼的后面，是杨家家庙，为宋太宗御赐的祭祀殿。面积227平方米，是一座五间三开歌山顶的建筑，绿琉璃瓦剪边，上置脊吻走兽，斗拱梁柱全部油漆彩绘，殿内设置神龛，有杨令公、佘太君、七郎八虎、宗保、文广等塑像和宋、元、明历代皇帝为杨家将授赠的神位。