最早的
高级语言大约诞生于1945年，是德国人楚译为他的Z-4计算机设计的Plan Calcul，比第一台
电子计算机还早几个月；在电子计算机上实现的第一个高级语言是美国尤尼法克公司于1952年研制成功的ShortCode；而真正得到推广使用，至今仍在流行的第一个高级语言是美国的计算机科学家巴科斯设计，并于1956年首先在IBM公司的计算机上实现的
FORTRAN语言。
早期的高级语言主要是应用于科学和工程计算，其代表作有FORTRAN和ALGOL60。计算机进入商业和行政管理领域以后，出现了COBOL和 RPG等便于商界使用的语言。近年来，这类语言和数据库技术，图形界面技术(可视化编程)，面向对象的思想及RAD(Rapid Application Devolopment)的概念相结合，形成了一批更方便使用的所谓第四代语言(4GL)，如Powerbuilder，Delphi，VB等。