祥符禅寺始建于唐贞观年间，历史上香火旺盛，高僧辈出，素有“山连鹫岭，法继慈恩”之誉。据传说，唐代玄奘法师曾游于此，十分喜欢，杭恽将军遂出资在山脚下修建了“小灵山刹”，即祥符禅寺前身，并由玄奘弟子窥基出任第一任主持。