近红外光谱技术因其特有的无损、高效的特点得到广的关注与研究,在众多领域已经投入使用并取得良好的效益,特别是在物质分析与检测方面。在喷气燃料的检测方面[1~4],袁洪福,李华等实现了冰点、烯烃和总硫含量的测量,并获得了精度较高的预测模型。但是,近红外光谱技术受外部测量条件影响较大,其中温度的影响最为显著,这为实现在线检测及非实验室条件测量带来很大的困难。Liu等[5]通过实验评估得出温度变化给测量带来的误差占总误差的50%以上。
消除温度影响的方法主要有两类:一类是建立温度滤波矩阵,将非基准温度下的光谱修正至基准温度,然后进行预测,主要包括:外部参数正交化(external parameter orthogonalization,EPO)[ 6-8 ]、动态正交投影(dynamic orthogonal projection, DOP)[9]和分段直接标准化(piecewise direct standardization,PDS)[10]等。另一类是建立对温度不敏感的预测模型,主要方法有选择温度不敏感波长进行建模和采用所有温度的光谱数据进行全局温度建模[11]。
其中,EPO方法在修正温度影响方面有其特有的优势:不仅对温度干扰有着很好的抑制作用,而且建模的难度远远低于传统的多变量建模方法。EPO方法不用收集大量的数据,仅需采集少量具有代表性的样本在不同温度下的光谱数据即可获得温度滤波矩阵,从而对光谱进行滤波,这一特点使温度修正的工作量大大减小。本文以喷气燃料的密度为例,重点研究EPO方法能否消除温度对喷气燃料光谱的影响,并考察划分温度子区间对滤波效果的影响,将其结合PLS进行建模并与全局温度建模方法和直接建模方法进行对比。
实验共采集了35个喷气燃料样本,根据GB/T 1884—2000《原油和液体石油产品密度实验室测定法(密度计法)》测定样本的密度。经测量得到35个样本的密度如表1所示。
表1 样本密度值
Table 1 Density values of sample
样本数量最大值最小值平均值350.805 20.792 60.802 5
光谱采集系统波长检测范围为1 100~2 500 nm,波长的分辨率为1 nm;采用光程为5 mm的石英比色皿测量样本吸光度,对每个样本扫描3次,积分时间为30 ms,保证每次扫描波长的重复性不超过,最终取平均光谱作为样本原始光谱。
采用恒温箱对样本进行保温和加热至设定温度,分辨率为0.1 ℃。温度区间为15~45 ℃,间隔5 ℃,在各个温度依次操作得到35个样本在7个温度(15 ℃、20 ℃、25 ℃、30 ℃、35 ℃、40 ℃、45 ℃)下的光谱数据,并以25 ℃下的光谱作为基准光谱。实验所选的温度范围基本覆盖喷气燃料存储环境可能出现的温度,因此对这些温度下的光谱进行温度修正具有普适意义。
外部参数正交化是以主成分分析(principal component analysis,PCA)为基础的温度修正方法,一般适用于外部参数无法实时测量的情况[12]。通过EPO方法可以将吸光度光谱分解为干扰信号和有用信号[13],本文中有用信号为基准温度下的样本吸光度,干扰信号为因温度变化而引起的光谱变化,因此光谱的分解表达式为:
X=XP+XQ+R
(1)
式(1)中:P为有用子空间的投影矩阵;Q为干扰(温度)子空间的投影矩阵;R为滤波冗余部分,一般视为随机噪声,可忽略不计。
计算温度滤波矩阵P的主要流程为:首先计算样本在不同温度下光谱的温度差分矩阵D。XT(n×p)表示有外部干扰(温度)下扫描得到的光谱矩阵,n为样本数,p为光谱波长点,XTr表示基准温度下的光谱矩阵;设有K个不同温度的光谱矩阵将按式(2)进行平均处理得到光谱矩阵MT(k×p),
(2)
M中每一行表示在相同温度下所有样本的光谱在同一波长点的平均值。
温度差分矩阵D计算公式为:
D=MT-MTr
(3)
然后求取差分矩阵的协方差矩阵,再对其进行主成分分析,即
[U,S,VT]=svd(DTD)
(4)
以奇异值矩阵S对角线上的奇异值为依据,选择前n个奇异值所对应右奇异值矩阵V的特征向量构成新矩阵Vs,参数n的选择与n个主成分的累计贡献率有关,一般要求达到90%以上。
接着计算干扰子空间的投影算子矩阵Q,
(5)
然后可得到温度滤波矩阵P,
P=I-Q
(6)
最后将所有光谱进行温度滤波,得到温度修正后的光谱
(7)
2.3.1 样本集划分
使用EPO方法消除温度对光谱的影响仅需采用部分典型样本用于建立温度滤波矩阵。典型样本从校正集中产生,采用SPXY(sample set partitioning based on joint x-y distance)方法对25 ℃的光谱进行划分,校正集和验证集的比例为8∶2。SPXY[14-15]不仅计算样本光谱X之间的距离,同时也考虑Y之间的距离,因此可以最大程度保证对多维向量空间的有效覆盖,提高样本集的代表性与差异性,其计算公式为:
(8)
(9)
由SPXY方法划分得到的校正集和验证集如表2所示。
表2 SPXY样本集划分结果
Table 2 Partition results of SPXY sample set
方法校正集验证集SPXY1、2、3、4、6、7、9、12、13、14、15、16、17、18、20、 21、22、23、 25、 26、27、28、29、31、 32、33、34、355、 8、10、11、19、24、30
2.3.2 全温度区间和划分温度子区间典型样本选择
研究在不同温度区间选取典型样本和典型样本数量对温度滤波效果的影响,本文设计了2种方案:① 在全温度区间选择不同数量的典型样本建立滤波矩阵;② 首先确定典型样本数量,然后划分3个温度子区间分别建立各子区间的滤波矩阵。
全温度段的滤波矩阵获取:以密度为依据设计了3种不同的样本选取方法,并编号为A、B和C,具体如表3所示。方法A所选样本密度为中间值;方法B选取的3个样本的密度分别为最小、最大及中间值;方法C为按样本的密度分布均匀选取12个样本。将采用A方法所选样本建立温度滤波矩阵记为EPO-A,其余以此类推。
表3 全温度区间滤波矩阵建立选取的典型样本
Table 3 Typical samples selected for the establishment of full-temperature interval filter matrix
方法所选样本编号样本温度/℃A1615~45B13、16、915~45C13、14、7、4、20、29、3、35、16、18、1、915~45
各子区间滤波矩阵的建立:划分3个温度子区间:15~25 ℃、25~35 ℃、35~45 ℃,同样以25 ℃为基准温度,分别计算各区间的滤波矩阵,用于对各区间内的光谱进行温度滤波。对比A、B、C方法的实验结果可知B方法样本数量较少,效果较优,故以B方法为例进行说明,具体如表4所示。记用B1温度区间典型样本建立滤波矩阵的EPO方法为EPO-B1,其余类似。
表4 温度子区间滤波矩阵建立选取的典型样本
Table 4 Typical samples selected by temperature subinterval filtering matrix establishment
方法所选样本编号样本温度B113、16、915 ℃、20 ℃B213、16、930 ℃、35 ℃B313、16、940 ℃、45 ℃
建立PLS全局温度预测模型需要校正集在所有温度下的光谱数据,数据量较大。而全温度段的PLS-EPO建模方法与PLS基准温度法相类似,首先用预先获得的温度滤波矩阵对所有温度下的光谱进行温度修正;然后用修正后的校正集光谱(25 ℃)进行建模,用所建模型对所有温度验证集进行预测。几种建模方法的校正集和验证集具体如表5所示。
对于划分温度子区间的PLS-EPO建模方法以EPO-B方法为例进行说明:首先采用预先获取的3个滤波矩阵将各自温度区间的所有光谱修正至基准温度;然后用各温度区间修正后的校正集光谱(25℃)分别建模,建立的3个模型可对各自区间验证集进行预测,样本具体编号如表6所示。记第一个温度区间建模方法为PLS-EPO-B1,其余依次类推。
在本实验中以预测标准偏差(SEP)和决定系数(R2)为指标来评价模型的预测效果。
表5 不同预测模型的建模样本
Table 5 Modeling samples of different prediction models
方法校正集样本及其温度范围验证集样本及其温度范围PLS基准温度1、2、3、4、6、7、9、12、13、14、15、16、17、18、20、 21、22、23、 25、 26、27、28、29、31、 32、33、34、3525℃5、8、10、11、19、24、 3025 ℃PLS全局温度1、2、3、4、6、7、9、12、13、14、15、16、17、18、20、 21、22、23、 25、 26、27、28、29、31、 32、33、34、3515~45 ℃5、8、10、11、19、24、 3015~45 ℃PLS-EPO(ABC方案)1、2、3、4、6、7、9、12、13、14、15、16、17、18、20、 21、22、23、 25、 26、27、28、29、31、 32、33、34、3525 ℃5、8、10、11、19、24、 3015~45 ℃
表6 温度子区间预测模型的建模样本
Table 6 Modeling samples of temperature sub-interval prediction model
方法校正集样本及其温度范围验证集样本及其温度范围PLS-EPO-B11、2、3、4、6、7、9、12、13、14、15、16、17、18、20、 21、22、23、 25、 26、27、28、29、31、 32、33、34、3525 ℃5、8、10、11、19、24、 3015 ℃、20 ℃、25 ℃PLS-EPO-B21、2、3、4、6、7、9、12、13、14、15、16、17、18、20、 21、22、23、 25、 26、27、28、29、31、 32、33、34、3525 ℃5、8、10、11、19、24、 3025 ℃、30 ℃、35 ℃PLS-EPO-B31、2、3、4、6、7、9、12、13、14、15、16、17、18、20、21、22、23、 25、 26、27、28、29、31、 32、33、34、3525 ℃5、8、10、11、19、24、 3035 ℃、40 ℃、45 ℃
采用表3中A,B,C 3种典型样本选取方法,由式(2)~式(7)计算得到3个温度滤波矩阵,然后对所有温度下的光谱进行温度修正。以校正集中的16号样本为例进行展示,计算其在各温度下温度修正前后与25 ℃光谱的差异系数,结果如表7所示。
表7 EPO方法温度修正前后光谱差异系数
Table 7 Spectral difference coefficient before and after temperature modification by EPO
校正方案校正前校正后校正率EPO-A0.066 4~0.287 20.007 2~0.024 280.69%~96.91%EPO-B0.066 4~0.287 20.005 6~0.021 890.65%~98.06%EPO-C0.066 4~0.287 20.001 3~0.020 291.01%~99.08%
由表7可知EPO方法的温度滤波效果较好,滤波后光谱的差异系数下降了一个数量级,EPO-B和C的光谱校正率达到90%以上,特别是EPO-B以较少的典型样本获得较优的滤波效果。
绘制16号样本经EPO-B处理前后的光谱图,如图1所示。
如图1所示,图1(a)为原始光谱,图1(b)为温度修正后光谱,图1(c)、图1(d)分别为温度修正前后的差分曲线。对比图1(a)和图1(b)可明显观察到温度对光谱的影响较大,而经过EPO-B方法修正后不同温度下的光谱重复性显著提升。观察图1(c)和图1(d)可知经过EPO-B修正后光谱间的差分效果明显增强,光谱在不同温度下的差异大大减小,由此可见,EPO-B对光谱的修正效果较好。其余2种方法效果与EPO-B相类似,此处不再展示。
按表4中的方案分别计算得到3个温度区间的滤波矩阵,再对各自区间的光谱进行温度修正。同样以16号样本为例,求得各区间滤波前后的光谱差异系数,如表8所示。
表8 EPO-B方法温度修正前后光谱差异系数
Table 8 Spectral difference coefficient before and after temperature modification by EPO-B
校正方案校正前校正后校正率EPO-B10.066 4~0.287 20.003 8~0.004 293.66%~98.68%EPO-B20.143 5~0.207 50.004 0~0.010 592.65%~98.06%EPO-B30.195 6~0.245 00.009 6~0.017 091.31%~96.08%
划分区间后最低校正率达到91.31%,与表7相比,校正率得到进一步提升,说明划分温度子区间建立多个滤波矩阵进行温度修正比全温度区间共用一个滤波矩阵的效果更好,矩阵的滤波性能得到一定程度的提升。
以EPO-B2为例,绘制16号样本处理前后的光谱,如图2所示。由图1和图2中的(b)可以看出经EPO-B2滤波后的3条光谱几乎一样,有更好的重复性;对比图(d)说明EPO-B2滤波后的光谱差分要优于EPO-B。由此可见,缩小温度区间可进一步提升EPO方法的温度滤波效果。
图1 16号样本在不同温度下经EPO-B处理前后的光谱
Fig.1 Spectra of sample No.16 at different temperatures Comparison before and after EPO-B treatment
图2 16号样本30 ℃及35 ℃经EPO-B2处理前后的光谱
Fig.2 Spectra of sample No.16 at 30 ℃ and 35 ℃ comparison before and after EPO-B2 treatment
采取表5中的建模方案建立喷气燃料密度预测模型,然后对验证集进行预测,以预测标准偏差(SEP)和决定系数(R2)为评价指标,结果如表9所示。
表9 不同建模方法预测结果
Table 9 Comparison of prediction results of different modeling methods
方法预测标准偏差(SEP)决定系数(R2)PLS基准温度0.000 60.941 6PLS全局温度0.001 80.923 8PLS-EPO-A0.003 50.918 9PLS-EPO-B0.002 30.923 5PLS-EPO-C0.002 10.924 3
由表9可见,PLS-EPO方法和PLS全局温度所建模型均取得了较好的预测效果,R2均在0.91以 上,模型预测性能与PLS基准温度模型较为接近。尤其是PLS-EPO-B方法以数量较少的典型样本获取滤波矩阵,对光谱进行温度修正并建模,其效果与采用大量数据进行建模的全局温度模型预测效果相当。另外,采用更多典型样本的数量可在一定程度上提升模型的预测效果。
同样,按表6中的方案建立各个温度子区间的预测模型,并对各自的验证集进行预测,结果如表10所示。由表可知,在各个温度子区间建立的模型预测能力进一步提升,预测效果与基准温度模型非常接近。
表10 EPO-B区间模型预测结果
Table 10 Prediction results of EPO-B interval model
方法预测标准偏差(SEP)决定系数(R2)PLS-EPO-B10.001 10.935 6PLS-EPO-B20.001 50.936 7PLS-EPO-B30.001 60.934 9
结合表9与表10,对所有模型进行综合比较,如表11所示。
表11 不同模型预测结果
Table 11 Prediction results of different models
建模方法建模样本数量预测标准偏差(SEP)决定系数(R2)PLS基准温度280.000 60.941 6PLS全局温度1960.001 80.923 8PLS-EPO-B280.002 30.923 5PLS-EPO-B1280.001 10.935 6PLS-EPO-B2280.001 50.936 7PLS-EPO-B3280.001 60.934 9
可见,PLS-EPO-B方法所建模型与PLS全局温度模型预测性能无明显差距,但建模样本数少,建立的PLS模型主成分数也较少。划分温度子区间后,采用PLS-EPO-B(123)方法建立的模型预测效果再次提升,在各个温度区间均取得很好的预测效果,SEP和R2与基准温度所建模型差距很小,说明EPO方法选择合适的典型样本,在一定的温度范围内几乎可以消除温度对光谱的影响,温度修正效果与区间大小成反比趋势。
1) 采用EPO方法可以很好的消除温度变化对光谱的影响,光谱在不同温度下的差异得到有效抑制,对滤波后的光谱数据进行PLS建模可以得到高预测精度的模型。
2) 选取少量、合适的典型样本即可以获得滤波效果好的矩阵。
3) 缩小温度区间可进一步提升EPO方法的温度滤波效果,建立性能更优精度要求较高的预测模型,需要建立更多的模型。
4) EPO方法获取滤波矩阵与预测模型的建立是相互独立进行的,在很大程度上简化了建模的复杂性。
5) 全局温度建模法也可以获得性能较好的预测模型,但其建模需要所有温度的光谱数据,所建模型的复杂度也高于PLS-EPO方法。
6) EPO方法在消除温度对喷气燃料光谱的影响方面有较好的效果,可为实现在线分析和非实验室环境检测提供理论支持,并为消除其他外部干扰提供借鉴。
[1] 袁洪福,岳俊奇,陆婉珍.CCD近红外光谱快速测定喷气燃料的冰点[J].分析化学,1998(05):603-606.
Yuan H F,Yue J Q,Lu W Z.Rapid determination of freezing point of jet fuel by CCD near infrared spectroscopy[J].Chinese Journal of Analytical Chemistry,1998,26(05):603-606.
[2] 樊瑞君,王煊军,张有智.近红外光谱仪快速测定喷气燃料的烯烃含量[J].化学推进剂与高分子材料,2006,4(04):56-58.
Fan R J,Wang X J Zhang Y Z.Rapid determination of olefin content in jet fuel by near infrared spectrometer[J].Chemical Propellants & Polymeric Materials,2006,4(04):56-58.
[3] 樊瑞君,王煊军,张有智.近红外光谱法测定喷气燃料的总硫含量[J].化学分析计量,2006,15(03):16-18.
Fan R J,Wang X J,Zhang Y Z.Determination of total sulfur content in jet fuel by near infrared spectroscopy[J].Chemical Analysis and Meterage,2006,15(03):16-18.
[4] 李华,王菊香,邢志娜.基于正交信号校正的喷气燃料近红外光谱去噪研究[J].计算机与应用化学,2011,28(01):99-102.
Li H,Wang J X,Xing Z N.Study on jet fuel near infrared spectrum denoising based on orthogonal signal correction[J].Computers and Applied Chemistry,2011,28(01):99-102.
[5] Luo Y,Rong L,Chen W,et al.Analysis of sensitivity and optical path-length in non-invasive measurement of glucose with near infrared spectroscopy[J].Proceedings of SPIE-The International Society for Optical Engineering,2005,5696:205-214.
[6] Soons Z,Streefland M,Straten,et al.Chemometrics and Intelligent Laboratory Systems[J].Chemometrics & Intelligent Laboratory Systems,2004,146(02):10-23.
[7] Arimoto H,Tarumi M,Yamada Y.Temperature-Insensitive Measurement of Glucose Concentration Based on Near Infrared Spectroscopy and Partial Least Squares Analysis[J].Optical Review,2003,10(02):74-76.
[8] Acharya U,Walsh K,Subedi P.Robustness of partial least-squares models to change in sample temperature:1.A comparison of methods for sucrose in aqueous solution[J].Journal of Near Infrared Spectroscopy,2014,22(04):279.
[9] Bouveresse E,Massart D L.Standardisation of near-infrared spectrometric instruments:A review[J].Vibrational Spectroscopy,1996,11(01):3-15.
[10] Sjöblom J,Svensson O,Josefson M,et al.An evaluation of orthogonal signal correction applied to calibration transfer of near infrared spectra[J].Chemometrics and Intelligent Laboratory Systems,1998,44(1/2):229-244.
[11] 褚小立,袁洪福,陆婉珍.近红外稳健分析校正模型的建立(Ⅰ)—样品温度的影响[J].光谱学与光谱分析,2004,24(06):666-671.
Chu X L,Yuan H F,Lu W Z.Calibration Model of Near-infrared Robust Analysis(Ⅰ)—Influence of Sample temperature[J].Spectroscopy and Spectral Analysis,2004,24(06):666-671.
[12] 葛晴,韩同帅,刘蓉.基于外部参数正交的无创血糖测量温度校正[J].光谱学与光谱分析,2020,40(05):1483-1448.
Ge Q,Han T S,Liu R.Temperature correction of non-invasive blood glucose measurement based on orthogonal external parameters[J].Spectroscopy and Spectral Analysis,2020,40(05):1483-1448.
[13] Minasny B,Mcbratney A B,Bellon-Maurel V,et al.Removing the effect of soil moisture from NIR diffuse reflectance spectra for the prediction of soil organic carbon[J].Geoderma,2011,s167-168(08):118-124.
[14] Roberto Kawakami Harrop Roberto Kawakami Harrop, Araujo Mário Cé sar Ugulino,José Gledson Emidio,et al.A method for calibration and validation subset partitioning[J].Talanta,2005,67(04):736-740.
[15] Wang Y,Zhang L,Gao M,et al.Temperature-and Moisture-Dependent Dielectric Properties of Macadamia Nut Kernels[J].Food & Bioprocess Technology,2013,6(08):2165-2176.
Citation format:ZENG Qingsong, WANG Juxiang,XING Zhina, et al.Near Infrared Spectrum Temperature Correction for Jet Fuel Based on EPO[J].Journal of Ordnance Equipment Engineering,2021,42(11):252-258.