近红外光谱区是 Herschel 在 1800 年进行太阳光谱可见区红外部分能量测量中发现的,为了纪念 Herschel 的历史性发现人们将近红外谱区中介于 780~1100nm 的波段称为Herschel 谱区。
红外光谱分析技术作为一种有效的分析手段在二十世纪三十年代就得到了认可,当时红外仪器主要用于分子结构理论的研究。近红外区的光谱吸收带是有机物质中能量较高的化学键(主要是 CH、OH、NH)在中红外光谱区基频吸收的倍频、合频和差频吸收带叠加而成的。由于近红外谱区光谱的严重重叠性和不连续性,物质近红外光谱中的与成份含量相关的信息很难直接提取出来并给予合理的光谱解析。而有机物在中红外谱区的吸收带较多、谱带窄、吸收强度大及有显著的特征吸收性,传统的光谱学家和化学分析家习惯于在中红外基频吸收波段进行光谱解析,所以近红外谱区在很长一段时间内是被人忽视和遗忘的谱区。
随着红外仪器技术的发展,更加稳定的电源、信号放大器、更灵敏的光子探测器、微型计算机等的发展使得近红外光谱区作为一段独立的且有独特信息特征的谱区得到了重视和发展。Karl Norris 作为近红外光谱分析技术发展的奠基人,于二十世纪五十年代在美国农业部的支持下开始进行近红外光谱分析技术用于农产品(包括谷物、饲料、水果、蔬菜等)成份快速定量检测的探讨研究。Norris 的早期工作主要是探求合理的近红外光谱分析方法用于研究物质在近红外光照射下所体现出的光谱吸收特性和散射特性,他首先提出了多元线性回归(MLR)算法在物质成份近红外光谱定标模型建立和光谱信息提取解析方面所体现出的优势,这为后来系统的近红外光谱技术理论体系的形成起到了很重要的作用。二十世纪六十年代,Norris 领导的课题组进行了大量的光谱学方法论证,其中包括可见和近红外波段透射、反射及透反射等测量方法比较,在这一阶段的工作中最大的成果莫过于得到了植物叶子和谷物的反射吸收光谱,这为近红外光谱技术的发展提供了更大的优势和方便。与此同时,Norris 研制出世界上第一台近红外扫描光谱仪,这台光谱仪是在 Cary 14 单色仪的基础上改进得到的,拥有与微型计算机进行数据传输的功能,也就是在这台扫描光谱仪上,多元线性回归分析方法在提取与成份相关的光谱信息方面的优势得到了演示,这台仪器就成为了后来近红外光谱分析仪器发展的雏形。
谷物水份近红外分析仪的研制成功及大范围的推广使用是近红外分析技术发展的一个里程碑。水份在任何生物中都存在且有较大的比重,而且水份的近红外吸收光谱有很强的特征性、吸收强度很高,其倍频、合频吸收带相互分离、光谱分辨率高,所以近红外水份分析仪的分析性能较为稳定且精度很高,在近红外光谱分析仪器家族中最早得到了农业和工业界的认可。但是事物总有两面性,水份中 OH 的强吸收特征对于物质中其它成份的光谱分析及含量测定则形成了很强的干扰,如何排除水份吸收对各成份及其它各成份之间的相互干扰就成为近红外光谱分析技术中的一个关键问题被提了出来,相关光谱定标分析方法的提出有效地解决了这一问题。Shenk 、Hoove、McClure、Hamid在 Norris的领导下在七十年代设计完成了可以用于草料和烟草成份定量分析的近红外光谱分析仪器。
基于前人所总结的近红外光谱分析技术经验积累以及仪器研制技术的成熟,多家公司(如 Dickie-John、Bran Leubbe、Technicon)加入了近红外分析仪器商业化的队伍,其中Dickie-John 公司生产了世界上第一台商用滤光片型近红外光谱仪,Bran Leubbe 生产了世界上第一台商用光栅扫描型近红外光谱仪,1971全世界第一台商用近红外Neotec公司Grain Quality Analyzer进入市场,在整个农业领域的各个应用方面进行近红外分析技术的推广使用,使得该技术在农业应用领域进入了成熟期。1975Canadian Grain Commission 加拿大粮食委员会接受近红外方法作为测定小麦蛋白的官方方法.1984 美国公职分析家学会(AOAC) #989.03:NIR成为分析饲料中蛋白,酸性洗涤纤维,中性洗涤纤维的标准方法.近红外仪器技术和定标技术的发展过程中,诸多的疑难问题被一一解决,其中包括仪器自身的工作稳定性、待测样品的物理及化学特征对定标模型的影响、样品制备影响、环境因素(如温度、湿度、环境光照、振动等)等,这些问题通过大量的实验和应用讨论已经得到了比较满意的解释。1994定标新方法:人工神经网络技术-解决非线性.1995NIRSystems推出基于数字信号控制的全息光栅DDS系统.
在二十世纪八十年代前,虽然近红外分析仪器采用多元线性回归技术建立定标模型在农业应用领域得到了较为满意的结果,但是多回归变量如何能够在特定的组合下完成待测成分近红外光谱吸光度数据与参考化学数据之间的相关计算、各个光谱变量与待测成分之间有如何的特征关系、样品颗粒度及散射影响所导致的不稳定性等问题仍是急需得到合理解释的。长期以来,虽然近红外分析仪器的分析性能已经在农业领域得到了认可,对于研究者和用户双方都把近红外分析技术作为一个较为成型的“黑匣子”技术。直到多元统计变量方法(化学计量学)在八十年代得到了发展并将该方法引入到近红外光谱解析及定标技术中来,近红外分析技术才真正达到了定标理论与实践的统一,促进了该技术与化学计量学的并肩发展,所以八十年代被称为是“化学计量学的时代”。
在这一时期掀起了一个采用化学计量学用于数据预处理以实现近红外光谱解析和定标模型优化的高潮,其主要针对问题是样品颗粒度、装填密度等因素所导致的散射问题。Ian Cowe和 Jim McNicol首先将主成份回归分析方法用于近红外光谱的数据降维压缩处理以实现定标模型稳定,通过对回归主因子的优选达到了排除非测量因素(如颗粒度尺寸及分布)和非线性因素影响的目的,达到了很好的效果。同时令他们惊奇的是,稳定的定标模型所采用的主因子与待测成份的主要近红外光谱吸收带有很强的对应关系,对定标模型合理性可以给出满意的解释。
Kawalski 和他的研究生们则首先将偏最小二乘回归技术应用于光谱学技术中来,但直到最近几年该技术才在近红外分析技术中得到应用和推广。经过理论与实践的并行发展,化学计量学已经形成较为完整的体系,其中主要分为定性和定量分析两个模块,H.Mark 等对其进行了较为详细地论述。化学计量学这一时期在近红外领域的应用和探讨可以主要集中在以下几个方面:
1)非线性回归定标方法如人工神经网络、局部权重回归等用于多变量非线性定标模型的探讨。
2) 最优定标样品集的选定方法。
3) 基于小波变换数据压缩技术的大定标样品集探讨。
4) 偏最小二乘回归和其它因子回归方法在最佳因子数选取原则比较的探讨。
5) 定标波长通道的优选问题。
6) 同类型仪器的定标模型转移问题。
伴随着化学计量学技术在近红外光谱分析领域的不断发展,研究人员可以更加准确地掌握了近红外光谱吸光度信息与物质化学成分信息之间的线性相关性,虽然化学计量学方法本身的改进并没有在定量分析结果准确性方面有多大的改善。
近红外光谱分析仪器的性能随着光学技术、电子技术、硬件技术以及计算机和软件技术的不断进步也有了极大地改善,高信噪比的傅立叶变换型、光栅扫描型光谱分析仪研制成功并开始进入仪器市场,滤光片型近红外分析仪的研制则进入了成熟期并成为了近红外仪器中的主流产品。与此同时,近红外光谱分析技术在除农业以外的其他领域(如纺织业、化工业、制药业、造纸业等)也进入了实际应用阶段,尤其是在工业现场分析、在线质量监控等方面该技术显示了其独有的优势。进入九十年代,许多基于不同分光原理的新型近红外分析仪器如二极管列阵型、声光调制型、成像光谱型等出现了,这些仪器在快速现场实时测量方面有很好的发展潜力,是当代近红外光谱分析仪器发展的典型代表。
近红外光谱分析技术经过了近半个世纪的发展历程现已经成为新世纪里的最有应用前途的分析技术之一,许多国家现已建立了专门的科研力量进行相关应用领域仪器设备的研发,降低仪器成本且保持足够的分析性能成为当今近红外仪器研制的主导方向。欧洲的许多发达国家已经在多个领域内将该技术作为行业产品质量评定的标准技术,几乎完全替代了先前广泛使用的化学分析方法,在生产效率和产品质量方面得到了很好的效果。
中国在近红外光谱分析技术方面的研究起步较晚,八十年代后期长春光机与物理研究所承担了国家粮食局下达“八五”科技攻关项目,研制成功滤光片型饲料近红外分析仪,之后的十年里又相继开发出可以分析玉米、小麦、大豆等粮食作物的滤光片型近红外分析仪器,现阶段正在从事人参、人体血糖、煤炭、蜂蜜、茶叶等方面的研究和仪器开发工作。
与此同时,中国在石油化工领域开发出了光栅扫描型近红外分析仪用于石油成份的快速定量检测,取得了喜的成果。中国近红外光谱分析技术的研究也已经相对成熟,估计在未来几年内即可完成近红外分析仪器在各个领域的应用推广。