天文山的海拔虽然只有43米，但却是悉尼城区的最高点。最初这座小山被叫作风车山，因为殖民地军队的第一架风车就竖立在山头。风车被损坏后，人们又在山上建了一座信号站，后来改建为天文观测台，这也是人们将这座山称为“天文山”的原因。现在，山上的天文观测台已被改建为天文学博物馆。