衡山是佛教与道教并存之地。佛教文化进入南岳比道家约迟200多年，最早到达南岳的惠海、希遁，是在梁天监年（502~519年）间，随后慧思则于陈光·大二年（568）来岳。慧思传弟子智，以后传至章安灌顶，法华天宫，荆溪湛然，形成天台宗。道家最早进入南岳的传人为东汉末期张道陵，他自天目山游南岳，谒青玉坛、光天坛，礼祝融祠，其后则为皮元与王谷神。南岳慧思，被尊为天台三祖，智为四祖。此宗学说，远传日本，流布甚广。南禅六祖惠能，则于广东曹溪传法，衍为来南岳的佛家最重要宗派。惠能传法两支：一称南岳；一称青原。南岳代表人物为南禅七祖怀让，住南岳般若寺，开宗受徒，传马祖道一后再先后传承，开成沩仰、监济两宗。