靈龜寺位于攸縣城東1.5km的洣水河畔。其山勢一峰獨秀，如龜出穴，踞水上游，享有“梅城第一峰”之美稱。峰頂一寺，名靈龜寺，鐘鼓常鳴，香煙縷縷，奇峰古剎，巍然屹立。崗環水繞，氣象萬千。

據《攸縣志》同治版記載，靈龜寺始建于明末，位于城東米水河畔靈龜峰之巔，邑紳劉伯相建“元帝祠”于峰頂，縣丞余有為建“如斯亭”于山腰。后有縣衙牢吏張鏜在峰麓出家將祠名改為“張鏜庵”。明教諭楊世桂改“張鏜庵”為靈龜寺。

攸縣城東郊有一孤峰謂之靈龜峰。千百年來，這里以山奇，水秀，洲平，林幽，寺深而勝名，一直為騷人墨客和僧侶道徒所景仰游覽，留下大量詩文。“靈龜峰，峰上生楓，風吹楓動峰不動；白茅洲，洲畔停舟，水推舟搖舟搖洲不搖。”這幅對聯恰到好處地再現了靈龜峰的美色。