衡山县，位于湖南省衡阳市中北部，因其南部著名的衡山而得名（地处东经112 °27'-112 °57',北纬26 °58'-27 °28'）。它东临湘江与衡东相望，南接石鼓区，西接南岳区，西南与衡阳县接壤，西北与双峰县相邻，北界湘潭县，南北纵长54.5公里，东西横跨48公里，总面积达934平方公里，占湖南省总面积的0.46%。
衡山山脉将衡山县划分为东南（前山）和西北（后山）两部分，形成阶梯式地势。境内可见500米、300米和150米左右的夷平面，山地与丘陵、岗地交织，丘陵占比42.3%，岗地24.8%，平原21.5%。衡山山脉横贯县境，以祝融峰等26座山峰最为显赫，祝融峰是境内最高峰，海拔1301米，形成了县境的天然屏障，著名山峰如巾紫峰、燕子岩等。
南岳衡山，被誉为中国五岳之一，风景优美，气候适宜，植被丰富，如诗如画，魏源在《衡岳吟》中赞誉其为"南岳独秀"。衡山的烟云景色与黄山媲美，云雾缭绕间，游人仿佛置身仙境。
衡山境内河流众多，湘江是主要干流，全长64.85公里，一级支流10条，二级支流17条，三级支流8条，溪流3条，总计444.8公里。湘江在衡山县境内的部分，河面宽广，四季通航，大源渡航电枢纽使得千吨级船舶可直航，正常水位41.7米，警戒水位47米。
涓水和荆陂河是湘江的一级支流，分别源自双峰县和衡山紫盖峰，流经多个乡镇后汇入湘江。乌江也是一级支流，源自南岳紫盖峰东南侧，这些河流共同塑造了衡山县丰富的水系景观。
衡山县位于南中国交通中心、湖南省第二大城市——衡阳市中北部，湘江中游，因南岳衡山得名，为衡阳西南云大都市区组成部分。地处东经112 ° 27'-112 ° 57',北纬26 ° 58'-27 ° 28'，之间，东隔湘江与衡东县相望，南与石鼓区、珠晖区、衡南县相接，西邻南岳区，西南与衡阳县接壤，北界湘潭、湘乡，西北与双峰县毗邻，南北纵长54.5公里，东西横跨48公里，总面积934平方公里，占湖南省总面积的0.46%。