根据《嘉靖南阳府志校注》和《香严禅寺中兴碑》记载：香严寺是大唐南阳慧忠国师的道场。慧忠圆寂后按其遗愿从长安送回党子谷白崖山清风岭建塔归葬，唐代宗当时赐赠甚厚，遣使者送慧忠，慧忠入塔时，高官送葬，人流如潮，香烟袅袅，经月不散，人们遂取佛家经典中常见的“香光庄严”之义，将原名“长寿寺”改为“香严寺”。历史上，香严寺分为上寺和下寺两部分。上寺在白崖山丛中，下寺在山麓丹水旁，相距约15公里。下寺于20世纪60年代末因南水北调中线工程建设蓄水而淹没于丹江口水库之中，高达十几层的两座唐代琉璃塔在水库淹没时被全部炸毁，仅存上寺，上寺面南背北，依山而建，东邻水面壮阔的丹江口水域。虽遭历代战乱寺院毁坏严重，然因处于深山之中故仍保存下百余寺舍、石塔碑林、石牌坊、山门、大雄宝殿、韦驮殿、接客亭、法堂、藏经楼等古建筑及道家、佛家古壁画若干。现存建筑141间，木雕480余幅，砖雕480幅，石雕520幢，内壁画共计780平方米，占地面积4200平方米。 开元二年（714年）一位俗名为冉虎茵、法名为释慧忠的诸暨（今浙江绍兴）僧人，云游至白崖山党子谷（今香严寺所在地），在此结庐为庵，开辟道场潜修四十余年。
天宝十四年（755年）唐玄宗在慧忠的“戒行精专，佛法造诣高超，堪称一代大师”奏请之下，下诏书将慧忠接到长安龙兴寺；安史之乱暴发后，慧忠又回到这里。
上元二年（761年）正月十六，内给事孙朝进带着唐肃宗的诏书，到白崖山将慧忠再次迎进长安。
大历二年（767年）唐代宗恩准慧忠在他原修炼道场白崖山党子谷建寺，大历八年(773年)敕赐“长寿寺”（香严寺前身），奉该寺为国家设置，赐给大量长生田，御赐佛经一套及“永镇山川”匾额，敕赐长寿寺度无名僧49人。
大历十年（775年）慧忠在长安圆寂，在白崖山清风岭建无缝宝塔归葬，入塔时“异香百里，经月不散而名香严寺”，因此到明代前期俗称“香严长寿寺”。
开成五年（840年）光王李忱为免遭颖王李炎（唐武宗）的杀害，潜至香严寺剃度为弥。
会昌二年（842年）和会昌三年（843年）唐武宗派人两次围攻香严寺。
会昌六年（846年）唐武宗驾崩，大臣到香严寺迎李忱回长安登位，称唐宣宗。
大中元年（847年）宣宗于香严寺整建望月亭，后人改为宣宗殿。
永乐元年（1403年）住持仁山毅禅师带领僧众修复香严寺。先在下寺修建门堂屋宇，而后动工修建上寺，但没有修到一半禅师便圆寂。
永乐十一年（1413年）明成祖批准在修建武当“太和山宫观”的同时，为太虚禅师修建香严寺。九年后，寺院建成；寺内的匾额由驸马都尉沐昕题写。
成化二十三年（1487年）明宪宗赐香严寺新名“显通禅寺”，同时赐如意为香严寺住持。
万历二十八年（1600年）夏末暴雨泛滥，丹江和淅水同时暴涨，将下寺山门、鼓楼、殿堂、屋宇淹没，四大天王、韦驮及十八罗汉佛像也随之消失。
崇祯十七年（1644年）12月李自成、张献忠率军经淅川李官桥镇，意图围攻襄阳。军队驻扎在顺阳川，香严寺僧侣见势而逃，上寺禅院被义军烧毁。
康熙三年（1664年） 宕山远禅师率众僧在上寺建大雄宝殿三楹、释伽牟尼像一尊（高三丈三尺）、韦驮神像一尊（一丈六尺），为木刻金饰。 民国十七年（1928年）鉴于多数寺庙改建学堂的事实，香严寺方丈润斋串联镇平菩提寺方丈释玉普、南阳玄庙观道长张宗璇，一同向国民政府请愿，香严寺得以保全。
民国三十四年（1945年）日军入侵，香严寺上下禅院部分建筑被日军破坏。
1947年夏，香严寺在释湛洁倡导下成立“河南太虚佛学院”以“培养僧才，中兴佛教”为宗旨。后因第二次国共内战而停办。
1951年5月淅川县人民政府逮捕了香严寺方丈释富祥和释慧宿、释恩波、释能富、释妙谛等僧侣，香严寺佛事活动停止。
1958年香严寺上下两禅院的大部分碑刻被搬走，用于水利建设。古钟被砸毁，钟、鼓楼被扒掉，大量古树被伐用作炼铁材料。
1959年至1965年因为兴建丹江口水库，淹没区的淅川县第二初级中学、仓房小学、宋湾高中分校及仓房高中，先后迁入上寺。韦驮殿与过厅之间新建—座教学楼。
1966年文革致使香严寺内外的大部分古塔、碑刻、佛像及古建筑惨遭破坏，大雄宝殿内的壁画被石灰浆涂盖，钟楼以及百余通石塔，被拆除。
1969年丹江口水库蓄水，为使航运通畅，下寺琉璃塔和汉白玉塔被炸。所有古建筑被拆，古树被砍。
1983年4月 香严寺移交给淅川县博物馆，仓房公社中学从寺内搬走。
1987年5月 香严寺院内过厅前的教学楼被拆除。
1993年中国国家文物局拨款15万元人民币对香严寺进行修复。
1996年8月韩国中央日报社写真部张忠钟次长一行4人，到香严寺考察慧忠国师及元末明初千峰禅师情况，寻找临济正宗之根。
2000年9月，日本临济宗国泰寺一行19人到香严寺寻根朝拜，团长泽大道说:“香严寺在日本佛教界临济宗中影响很大，我们崇敬慧忠国师”。同年在淅川县政府的主导下，香严寺旅游经营权交给北京一家公司开发，2002年初，由于北京这家公司的玩忽职守，一场大火将香严寺的大门烧的面目全非，同年位于香严寺宣宗殿东进在清代所提的名为“指月处”的匾额随着北京这家公司的撤走而失踪，疑似被这家北京公司盗走。
2003年，淅川县政府将香严寺承包给郑州一家公司经营，该公司只收门票，从不修缮寺庙。
