遂平县第一高级中学坐落在汝河北岸，瞿阳镇南关大街东侧</，东邻107国道。其历史可以追溯到1956年，当时名为遂平完全中学，开始招收高中一年级新生，学制为六年。
在1958年大跃进时期，遂平完中、遂平师范和遂平一初中合并，统一由遂平完中领导。然而，随着大炼钢铁运动的开展，学校大部分时间处于停课状态，合并的学校随后解体，遂平一初中回到原址，而遂平完中和遂平师范继续作为一个整体。
1960年暑假，学校增设了一班幼儿师范，附属于遂平师范。然而，到了1961年，遂平师范和幼儿师范相继停办，初中招生也停止，遂平一高正式成为一所纯高中的身份，更名为“河南遂平高级中学”，学制缩短为三年。
文化大革命在1966年7月开始，学生停课参与革命活动。1968年秋，知识青年开始上山下乡，学校停办，教师返回原籍。高中与一中合并为红旗中学。1970年春，农机学校在原址设立，随后于同年冬停办，直到1971年底国防科委撤离。
1972年2月，遂平一高复校，高中与一中分开，正式定名为“遂平县第一高级中学”。学生选拔基于各公社推荐，学制调整为两年，春季招生，寒假毕业。随后几年，学制有所调整，直至1975年遭受特大洪水，大部分设施受损。
1976年，文化大革命结束，学校归属县教育局管理。恢复高考后，学制在1980年改为三年。1981年，学校被驻马店地区认定为县重点高中，随后几年，学校的行政级别和教育质量不断提升。
总的来说，遂平县第一高级中学秉持着“为学生终生幸福奠基，为社会全面进步育人”的办学宗旨，坚持以人为本，注重德能培养，致力于和谐教育和名校建设。学校始终将学习、发展、人才和团结作为工作的核心要素。
遂平一高位于遂平县城灈阳镇，玉带路52号，汝河北岸，大堤北边，东临107国道。 教学楼遂平一高是河南省首批示范性高中、省级文明单位，办学历史悠久，文化底蕴深厚。其前身是抗日战争时期建立的陶城中学。1953年秋更名为遂平县第二初级中学。1956年，招收高中班，易名为遂平第一中学。1960年遂平第一中学改为遂平高中，同时二初中不再招生。1969年春高中停办，由938部队暂住。1971年复校。1980年夏调整后定名为遂平县第一高级中学并确定为驻马店地区重点中学。1997年入选为河南名校。