公元1792年，一名叫李应祥的文士自大陆来台，起初在阿公店(现冈山镇)居住，3个月后登上火山大仙岩，于公元1796年为寻晚年隐修之所，而攀山涉水，由于李应祥善于勘舆，发现在枕头山南腰「半壁吊灯火」传为麒麟穴，于是披荆斩棘，自大仙寺内迎回观音圣像坐镇于此，隐遁修行，即为今天碧云寺的开山起源。

碧云寺真正兴建庙宇，是当时附近的8位儒生，因仰慕李应祥学养品德，与一书僮前往拜师苦读，公元1806年前往福州赶考，连书僮9人皆应试登科，9人感佩观音灵佑，于是合资大银千两，购买当时他们师徒所开垦的田地，捐作寺产，并兴建寺庙，称为碧云寺，这座寺又称为「新岩」，大仙寺则为「旧岩」。