丹霞山自古已是佛道名山，古稱燒木佛舊地。據說早於南北朝時期，已有道士在陽元山附近的混元洞、獅子岩修練；隋唐時期，則開始有佛教活動。現時丹霞山仍留有一些佛教和道教的建築及遺跡，包括具千年歷史的錦石岩寺、專供比丘尼清修之用的紫府洞天，以及清初時建成的別傳寺。
因丹霞山山勢陡峭險要，昔日成為人們躱避戰禍或避世隱居之所。西漢時，漢武帝揮軍南下，想把居於南方地區的百越族驅趕，而居於丹霞山的百越族，卻乘地勢之利，躱避山上，逃過一劫。如今，丹霞山仍留有超過一百座古山寨，號稱「丹霞山一百零八寨」。其中陽元山山頂上的細美寨，三面臨崖，通往寨門的山壁，修築了一道狹窄石階，名「九九天梯」，令寨門猶如一道關口，佔有防守之利。而位處丹霞山最高處的巴寨，同樣險要，通往寨門的唯一通道，是懸崖旁邊一道長二十米、近乎垂直，僅容一人攀爬通過的天梯。寨門上設有槍眼，遇敵可即時發動攻擊，只需一夫當關，經已萬夫莫敵，可說是一座天然的軍事堡壘。
此外，古人亦喜愛在山上清靜，或特意前來專心讀書。江頭村居民葉傳由、葉傳分的祖先，便曾在天乙山上建寨闢室，一起讀書，待考取功名以後，則在附近買下田地，建立家園。
因丹霞山山勢陡峭險要，昔日成為人們躱避戰禍或避世隱居之所。西漢時，漢武帝揮軍南下，想把居於南方地區的百越族驅趕，而居於丹霞山的百越族，卻乘地勢之利，躱避山上，逃過一劫。如今，丹霞山仍留有超過一百座古山寨，號稱「丹霞山一百零八寨」。其中陽元山山頂上的細美寨，三面臨崖，通往寨門的山壁，修築了一道狹窄石階，名「九九天梯」，令寨門猶如一道關口，佔有防守之利。而位處丹霞山最高處的巴寨，同樣險要，通往寨門的唯一通道，是懸崖旁邊一道長二十米、近乎垂直，僅容一人攀爬通過的天梯。寨門上設有槍眼，遇敵可即時發動攻擊，只需一夫當關，經已萬夫莫敵，可說是一座天然的軍事堡壘。
此外，古人亦喜愛在山上清靜，或特意前來專心讀書。江頭村居民葉傳由、葉傳分的祖先，便曾在天乙山上建寨闢室，一起讀書，待考取功名以後，則在附近買下田地，建立家園。
