碧雲寺座落於山靈水秀的台南縣關仔嶺半山腰中，坐東向西，背倚秀麗的枕頭山，面迎廣闊的嘉南平原，附近林木茂盛；四周碧綠青翠，雲煙縹緲，「水火同源」與本寺同屬一脈源，地下蘊涵豐富之天然氣，故名「火山碧雲寺」。本寺在宗教的莊嚴氣氛中，並兼具賞心悅目的詩情畫意，是全台一處得天獨厚的靈山勝境，更是修行者參禪悟道的好地方。

清康熙四十年（ 一七○一），第一代開山祖師釋應祥，由福建省泉州府名剎開元寺奉請一尊觀音佛祖聖像，渡海來台，從竹仔港（ 今高雄縣永安鄉）登陸上岸，隨後寄居於阿公店（今高雄縣岡山鎮），數月後為了尋找更適合參禪悟道的環境，再奉迎觀音佛祖遍遊南部各大叢林，最後於枕頭山下（今台南縣白河鎮仙草埔）暫且落腳。時光荏冉，歲月如梭，如此過了數年，由於應祥師通徹孔孟之學及勘輿之術，發現於枕頭山南麓半山腰有一處「半壁吊燈火」之靈穴更適合靈修參禪；應祥師遂獨自帶著觀音佛祖上山，披荊斬棘，草建茅堂，即為為本寺之前身。

嘉慶三年（西元一八○三），有安溪、土庫、番社（今東山鄉）儒生林啟邦等八位，因仰慕應祥師學養品德，而與一書僮前往拜師苦讀。嘉慶十一年（西元一八○六）前往福州趕考，連書僮九人皆應試登科，九人感佩觀音靈佑，於是合資大銀千兩，購買當時師徒所開墾的田地（俗稱九股仔，今碧雲公園），捐作寺產，並於嘉慶十三年（西元一八○八）正式興建寺廟，稱為碧雲寺。

碧雲寺範圍內有兩處靈穴，現今正殿是處「鳳穴」，後山南北兩側山脈是為鳳翅；「半壁吊燈火」靈穴即今三寶殿前香爐位置，兩穴互為文集；相互共構營造成三百餘年之靈山古剎。由於碧雲寺財力拮据歷經嘉慶、咸豐及光緒等年間次第興建完成，本寺右側豎立一塊