相传在300多年前，有一来自五华的单身汉伍荣昌，在长潭以摆渡为生。一天，伍荣昌清早起来，象往常一样打一声“噢嗬”，伸一下懒腰，环视一遍群山，俯身舀起一杓清水，准备生火做饭时，忽然看到绝壁的半山腰上，一只大金龟正在爬行，头上的两只眼睛似两盏明灯闪闪发亮，好象在招呼伍荣昌似的。这时候，伍荣昌心想，莫非是看花了眼呢？还是自己恋此山此河的感情作崇呢？然而，以后一连几天都出现如此的现象。这时，位荣昌心动了：这是神灵显圣，念我这孤老头子无依无靠，一辈子行善积德，指点一宝地给我安度晚年的吧！于是他卖掉了渡船，买下此座灵山，自己披荆斩棘，凿出羊肠石路，在金龟出现的地方修庵庙，几年以后，一个小小的庵堂做成，取名高台庵，自己开始食斋修行，招揽徒弟，为民消灾降福，无有不灵，逐渐声名远播，香火极盛。

    伍荣昌一心一意修行，取道号为五木先生。五为其姓的谐音，木取其在高台庵生根发展之意。五木先生得道后，自己选定在牛轭曲的石崖下，动手建造了一座小塔。称为灵山塔，塔下的岩石凿成一个靠椅状，后来，就是坐着石椅圆寂的。