文昌閣位于冷水灘城區湘江西岸的懸崖上，建成于明嘉靖十一年，原有財神殿、文昌殿、觀音堂、洞賓樓等建筑群，總面積500平方米。現僅存觀音堂，其余殿樓，不知毀于何年。據《零陵縣志》載：文昌閣前，有磚砌牌坊，-“文昌閣”三個字。坊前石階五級，兩側襯以云龍浮雕。財神殿中供趙公元帥騎虎巨像，右手執金鞭，左手握元寶，形象威武雄壯。文昌閣二樓塑有文昌帝君之像，圓形樓頂上繪有太極圖案。帝君像前，立魁執筆點斗。供桌中央有：“至圣先師孔子神位”。神龕兩旁有對聯：“為士大夫十七世，作帝王師億萬年”。循文昌閣左廊至觀音堂，堂前有匾，題“一片婆心”四個字。堂內塑有木刻觀音大士像，兩側有對聯：“好子向積善人家送去，化身從普陀海上飛來”。洞賓樓在觀音堂后，樓下撐以木柱，樓前有“欸乃一聲山水綠”匾額。登閣俯瞰有騰空之感，仰望有觸天之勢。樓筑于崖石上，依巖傍水，其勢險峻，其景優美。現存的觀音堂，有新塑觀音像、釋迦弁尼佛像等18尊。