浩然楼原先建在文天祥祠前，属于纪念文天祥的建筑之一。楼名浩然，来自文天祥大作《正气歌》中“天地有正气，杂然赋流形。下则为河岳，上则为日星。於人曰浩然，沛乎塞苍冥……”几句中的浩然。至于现在这座浩然楼，乃是清朝重建时移过来的。