至1969年，大连机车车辆工厂为庆祝中华人民共和国二十周年国庆，对原有的设计方案进行了局部修改，并将1966年至1967年间试制的第一套柴油机、电机机组样机安装在机车上，研制成第一台东风4型柴油机车，车号为2001。机车出厂后在沈大铁路大连至大石桥区间进行牵引试验，但由于机车为“国庆献礼”草率上马，其零部件未经必要的试验考核和改进，柴油机和电气部分以及机车其它一些装置都未达到设计要求，导致整台机车的性能和质量未能过关，此后大连厂针对暴露的问题，对柴油机进行一系列改进 ，而田心电力机车工厂、株洲电力机车研究所、永济电机厂、大连热力机车研究所也联合对原有的牵引电机组进行改进 。1972年，东风4型2001号机车交付北京铁路局北京内燃机务段开始进行运用考核。1973年，大连厂又试制了2002号机车，同样配属北京内燃机务段试用，完成京包铁路、京广铁路的牵引试验后，被安排在京山铁路牵引旅客列车 。与此同时，面对东风4型机车迟迟未能定型、柴油机车产能不足的情况，铁道部决定从法国阿尔斯通公司进口一批代表着当时世界第二代电传动柴油机车最高水平的ND4型柴油机车作为过渡。
1974年，大连厂试制了东风4型0001号货运机车，交付北京铁路局丰台机务段运用。同年8月，0001号机车赴湘黔铁路进行高温冷却试验；同年9月，0001号机车改装采用客运传动比的转向架后在京广铁路丰台至石家庄之间进行动力学性能试验，最高试验速度达130公里/小时。试验完毕后，同年年底大连厂正式开始批量生产东风4型柴油机车，同时停产东风3型机车 。1975年1月，0001号机车重新安装货运传动比的转向架，并由铁道部科学研究院主持进行了牵引热工性能试验。1975年2月，《中国新闻报》和香港《大公报》均以《4000马力内燃机车诞生记》为题对东风4型机车的研制作了长篇报道。
然而，东风4型机车在零部件、制造工艺不稳定的情况下量产，随着运行里程增加，机械、电气部件陆续暴露出很多问题，柴油机故障率尤其高，大量机车待修 ，当时丰台机务段还曾经传唱着一句顺口溜：“东风4，东风4，从东单跑不到西四。京广线要瘫痪，东风4要完蛋”。大连厂针对柴油机在结构和工艺等方面问题又作了很多改进。在改进过程中，针对连杆盖断裂事故，柴油机采用了加厚的对称连杆盖；并在柴油机顶部加设排气稳压箱，以改善增压系统的稳定性。为了区别原有的柴油机，经过上述两项改进的柴油机定型为16V240ZJA型，装用该型柴油机的东风4型机车非正式称为“东风4A型”以示区别，第一台装用A型柴油机的东风4（A）型0109号机车于1976年6月出厂，并于同年下半年开始批量生产。 在批量生产东风4（A）型机车的过程中，大连厂持续针对柴油机机强度和刚度不足、轴系动力性能欠佳的问题进行研究，于1977年试制了一台经过强化的新结构机体，并将许多零部件新结构和新工艺引入到新型柴油机，经试验后状态良好，作为A型柴油机的升级产品定型为16V240ZJB型 。1980年至1981年间，大连厂对已产生裂纹的东风4（A）型机车柴油机机体更换为B型柴油机机体，共更换115台。1982年12月，第一台装用16V240ZJB型柴油机的东风4型0527号机车出厂，作为东风4（A）型机车的升级换代产品，定型为东风4B型，并于1984年7月投入批量生产，同时停产东风4（A）型机车。
1980年代初，由于面对当时中国铁路运能紧张、东风4（A）型机车产能不足的问题，资阳内燃机车厂按照铁道部的指示和大连机车车辆厂提供的图纸，于1983年转产东风4（A）型机车。资阳厂首台试制的东风4型机车（车号3001）于1983年底交付广州铁路局广州机务段使用 。由于资阳厂至1986年才完成转产东风4B型机车的技术改造，因此资阳厂于1986年才停产了东风4（A）型机车。
截止1986年停产，大连厂和资阳厂累计生产了843台东风4（A）型机车。其中，大连厂累计生产了客运型31台（车号2001～2031），累计生产了货运型770台（车号0001～0770）；资阳厂累计生产货运型42台（车号3001～3042）。
2006年至2008年间，中国铁道部先后将三批东风4、东风4B型机车援助朝鲜。在最近期的2008年，北京铁路局所属12台东风4型机车经整修后无偿移交朝鲜 。在朝鲜铁路系统中，这些机车编号为내연2xx(Naeyŏn 2xx；内燃 2××)。
