雾灵山也曾是一座佛山，据记载，雾灵山在宋代就建有寺院，修建了诸多庙宇，“有僧道万余人”，元代曾有僧道来此做佛事，《昌平山水记》记载“文宗（元）命西僧于雾灵山作佛事一月，而其绝顶可瞰塞内”。现存的寺庙遗址有：红梅寺、钟古院、云峰寺等，在当时被称为下院、中院和上院。相传过去在红梅寺“有名和尚三千六，无名和尚赛牛毛”，这就说明在当时雾灵山一带僧道甚多，香火旺盛。据《长安客话》记载，“雾灵山有云峰寺，相传宝志公锡于此”。
