飞翼楼原先是作为瞭望塔而建造的。当年范蠡以府山为基础构筑了勾践小城，并在府山的制高点修筑了飞翼楼，不仅可看风景，更可作为军事瞭望之用。两千多年来，飞翼楼一度是绍兴城里的制高点，据说还能望到东北方向杭州湾的波澜，所以也称望海亭。现今的飞翼楼是1998年在原址上重建的。