BPANN模型在茶叶近红外光谱分析中的应用解析.docx

BPANN模型在茶叶近红外光谱分析中的应用解析.docx

《BPANN模型在茶叶近红外光谱分析中的应用解析.docx》由会员分享，可在线阅读，更多相关《BPANN模型在茶叶近红外光谱分析中的应用解析.docx（36页珍藏版）》请在冰豆网上搜索。

BPANN模型在茶叶近红外光谱分析中的应用解析

南京林业大学

本科毕业设计（论文）

题目：

BPANN模型在茶叶近红外光谱分析中的应用

学院：

专业：

学号：

学生姓名：

指导教师：

职称：

二O一O年月日

目录

摘要3

1、绪论5

1.1、研究的目的5

1.2、近红外光谱技术的发展历史与在茶叶中的应用5

1.3、国内近红外光谱与人工神经网络的研究概况8

1.4、本文概况9

2、近红外光谱分析技术简介11

2.1、近红外光谱分析技术原理11

2.2、近红外光谱分析技术的特点11

2.3、近红外光谱技术的仪器12

2.4、近红外光谱分析方法12

2.5、现代近红外光谱的发展和应用13

2.6、建模过程15

2.6.1、数据预处理15

2.6.2、校正方法16

2.6.3、结果评价16

2.7、展望16

3、人工神经网络模型18

3.1、基本特征18

3.2、神经网络的结构设计19

3.3、神经网络的应用19

3.4、BP神经网络20

3.5、BP人工神经网络的应用21

3.6、展望22

4、建立茶叶近红外光谱成分分析的BP神经网络模型23

4.1、BP人工神经网络与近红外光谱技术23

4．2、软件介绍23

4.3样品划分24

4、4茶叶光谱数据建模26

4.4.1、数据预处理26

4.4.2、校正27

4.4.3、模型预测29

4.5、咖啡碱32

5、总结37

参考文献39

致谢40

摘要

利用BP神经网络模型方法，针对165个茶叶样品的近红外光谱数据及其茶多酚与咖啡碱的化学测量数据，建立了基于近红外光谱技术的茶多酚与咖啡碱的定量分析模型。

。

首先，采用对近红外光谱进行预处理；然后，根据对茶多酚与咖啡碱进行的主成分聚类情况选取校正集与预测集。

利用校正集将近红外光谱数据用不同方法（PLS、PCA+ANN、PLS+ANN）进行校正，建立定量分析模型；最后，利用建立的不同模型对预测集进行定量分析，通过对比各种模型的预测结果来选择最佳建模方法及模型。

研究表明：

对于茶多酚，基于近红外光谱技术的PLS+ANN定量分析模型与为二阶微分、归一化处理与MAF平滑（先微分后平滑）的预处理是最为适合的；对于咖啡碱，基于近红外光谱技术的PLS+ANN定量分析模型与为二阶微分、归一化处理与MAF平滑的预处理是最为适合的。

关键词：

近红外光谱人工神经网络茶叶成分分析

ApplicationofBPANNmodelinNearInfraredSpectroscopyAnalysisofTea

Abstract：

MethodusingBPneuralnetworkmodelfor165samplesofteaandteapolyphenolsnearinfraredspectraldataandchemicalmeasurementsofcaffeine,theestablishmentofnearinfraredspectroscopybasedonpolyphenolsandcaffeineinthequantitativeanalysismodel..First,theuseofnearinfraredspectraofthepretreatment;then,basedonpolyphenolsandcaffeineinthesituationfortheprincipalcomponentclusteringandpredictionofselectedcalibrationset.Usingnearinfraredspectroscopycalibrationdataindifferentways（PLS,PCAANN,PLSANNtocorrect,thequantitativeanalysismodel;Finally,theestablishmentofdifferentmodelsonthepredictionsetquantitativeanalysis,bycomparingtheresultsofvariouspredictionchoosethebestmodelingmethodandmodel.Theresultsshowthat:

Forthepolyphenols,basedonNearInfraredSpectroscopyQuantitativeAnalysisofPLSANNmodelandforthesecondderivative,normalizedwithMAFsmooth（firstderivativeaftersmoothingofthepretreatmentisthemostappropriate;forcaffeine,basedonNearInfraredSpectroscopyQuantitativeAnalysisofPLSANNmodelandforthesecondderivative,normalizedwithasmoothpreMAFisthemostsuitable.

Keywords：

NearInfraredSpectroscopyArtificialNeuralNetworks

teaComponentAnalysis

1、绪论

1.1、研究的目的

茶叶于2000多年前发源于中国，目前已经传播到全世界。

茶是我国的传统饮料,也是世界三大饮料之一。

随着国际贸易的发展和人们饮食结构的调整，全面提高茶叶产品的质量，已日趋为人们所重视。

茶叶质量安全市场准入制度即将实施，我国茶叶将在国际大市场中运营，这些都对我国茶叶加工业提出更高的科技创新要求。

用简便、快速、准确的现代分析方法定量鉴别茶叶成为分析工作者的一项重要任务。

而近红外光谱技术是一种快速、简便及无破坏性的测量方法，对于茶叶的定性与定量分析是一种很好的分析方法，而在茶叶定量分析中，需要进行校正等处理，这就需要另一种方法对茶叶的近红外光谱进行校正，在现代技术中，人工神经网络技术就是一个很好的选择。

BP神经网络模型是一个强有力的学习系统，能够实现输入与输出之间的高度非线性映射。

目前使用最多的是多层结构的误差反向传播学习算法（BP算法）模型，解决了多层网络的训练问题，使许多复杂的信息处理问题，如模式识别、预测、图像处理、函数拟合和优化等都可以通过用多层人工神经网络加以解决。

采用人工神经网络进行近红外光谱校正，可以拓展近红外光谱技术的应用范围，简化建模过程，对近红外光谱技术的发展具有十分重要的实际意义。

本文以近红外光谱技术为基础，将偏最小二乘法（PLS）和人工神经网络有机地结合起来建立了茶多酚与咖啡碱的近红外光谱模型。

1.2、近红外光谱技术的发展历史与在茶叶中的应用

近红外光谱是介于可见光和中红外光之间的电磁波，最初于1800年被英国物理学家赫谢耳发现，是人们最早发现的非可见光区域。

1835年Ampere利用新发明的热电偶证明了NIR具有同可见光一样的光学性质。

20世纪初，人们采用摄谱的方法首次获得了有机化合物的近红外光谱，并对有关基团的光谱特征进行了解释，预示着近红外光谱有可能作为分析技术的一种手段得到应用。

50年代中后期，随着简易型近红外光谱仪的出现及人们在近红外光谱反射技术上所做的大量研究，直到1965年美国Norris博士运用了多波长多元线性回归的方法提出了相对NIR定量分析技术，使得近红外光谱分析进入一个新的发展阶段，使近红外成为实际分析技术。

但是，进入60年代中后期，随着（中）红外光谱技术的发展及其在化合物结构表征中所起到的巨大作用，使人们淡漠了近红外光谱技术的发展及其在分析测试中的应用。

在此后约20年的时间里，除在农副产品领域的传统应用之外，近红外光谱分析技术几乎处于徘徊不前的状态，以至于被人们称为光谱技术中的沉睡者。

进入80年代，由于高强度光源、低散射光栅、固态高灵敏探测器，尤其是计算机硬件和软件技术的发展，为近红外光谱仪的开发和实用提供了必需的基础；化学计量学理论的发展更为复杂光谱信息提取、分离、多成分多参数同时分析提供了可能，从而使近红外光谱分析技术达到实用化阶段，使近红外光谱分析技术迅速得到推广，成为一门独立的分析技术。

我国对近红外光谱分析技术的研究及应用起步比较晚，先后在20世纪70、80年代掀起两次引进热潮，但主要由于缺少近红外的理论基础以及相应的数学模型和优秀的软件，以致这两次引进高潮中的绝大多数引进仪器没有发挥应有的效果，两次热潮都以失败而告终。

从90年代中期到现在，在国内又掀起一股近红外热潮，此次近红外分析技术热潮使国内诸多行业在近红外仪器的研制、软件开发、基础研究和应用等方面都取得了可喜的成果。

目前近红外光谱分析技术应用范围已迅速向食品工业和生物学研究的其他领域扩展，分析的对象包括茶叶、饮料、乳制品、肉鱼蛋类、水果蔬菜等。

近红外光谱分析技术在茶叶和茶制品中被广泛应用，可用来检测茶叶中水分、全氮量、儿茶素、茶多酚、咖啡碱和氨基酸等主要成分的含量。

随着高性能近红外光谱分析仪器的出现，采用近红外光谱分析技术快速检测茶叶及茶制品中的主要成分，现已相当普遍。

（1）、近红外光谱分析技术在成茶品质分析中的应用

近红外光谱分析技术在成茶成分的检测应用最为广泛。

日本是最早将近红外光谱技术运用于茶叶品质成分的快速检测，并研发专用仪器，用于茶叶的品质管理。

还用近红外光谱测定了绿茶、煎茶、乌龙茶等不同茶叶中的全氮量、氨基酸、咖啡碱和茶多酚的含量，结果表明：

近红外光谱分析法与化学分析方法存在很好的相关性；在茶叶不粉碎的情况下，也能获得理想的分析结果，显示了近红外光谱分析法具有很好的可靠性。

采用偏最小二乘法（PLS）测定绿茶中生物碱和多酚类物质的含量，但没有应用独立的验证集进行检验。

用PLS建立了测定绿茶整叶中咖啡碱、儿茶素含量和总抗氧化能力的定标模型。

（2）、近红外光谱分析技术在茶鲜叶中的应用

除了将近红外光谱分析技术用于成茶成分分析外，也可用于茶鲜叶成分的定量快速检测。

利用近红外光谱分析法对茶鲜叶中的水分、全氮量、茶多酚、咖啡因、氨基酸、粗纤维等成分的含量进行了检测，预测结果具有较高的准确性。

研究结果表明，运用近红外光谱分析技术对茶鲜叶中各种成分的分析检测是可行的。

（3）、近红外光谱分析技术在茶汤中的应用

在国内,1991年浙江大学梁月荣等率先采集了龙井茶等12种浙江名茶茶汤的光谱，建立了有关茶汤的光谱分析模型。

从研究结果看，在400nm和440nm处的透光率分别与茶汤的成分呈显著和极显著的正相关，通过茶汤的光谱分析名茶茶汤的部分测定指标可以基本反映出茶汤品质的优劣，因此该方法可作为一种辅助的手段来鉴定茶叶的品质，为近红外光谱分析技术在茶叶鉴定方面的应用又提供了一个新的研究方向。

（4）、近红外光谱分析技术在茶提取物中的应用

在茶提取物成分的检测方面，近红外光谱分析技术主要用于茶多酚中各种成分含量的定量分析。

茶多酚是从茶叶中提取的由多种儿茶素单体及少量咖啡碱等其他物质组成的混合物。

国内在该方面已经有了很完善的研究。

采用偏最小二乘法（PLS）、人工神经网络（ANN）、径向基函数神经网络（RBFN）等不同方法建立了茶多酚中总儿茶素、儿茶素单体和咖啡碱含量的定量分析模型，经研究表明：

近红外光谱分析法不仅能够快速检测茶多酚中总儿茶素和咖啡碱的含量，还对多种儿茶素单体，如表儿茶素、表儿茶素没食子酸酯、表没食子儿茶素没食子酸酯等的快速定量分析也是十分可靠的。

（5）、近红外光谱分析技术在茶叶鉴别中的应用

除了用于茶叶及茶制品成分的检测分析以外，近红外光谱分析技术还可用于茶叶品质和种类的鉴别。

以碧螺春茶为研究对象，利用近红外光谱分析技术结合支持向量机模式识别原理建立了碧螺春茶真伪鉴别模型。

结果显示，该模型能基本正确识别其真伪。

再采用近红外光谱分析技术结合SIMCA模式的方法对茶叶种类进行鉴别和分类，分别对龙井、碧螺春、祁红和铁观音4类茶建立了模型，模型的识别准确率都在80%以上。

该方法为快速准确鉴别茶叶提供了一种新的方法。

1.3、国内近红外光谱与人工神经网络的研究概况

（1）基于近红外光谱技术和人工神经网络的玉米品种鉴别方法研究

利用近红外光谱技术结合人工神经网络技术对四种玉米种子进行快速无损鉴别。

采集了四种单粒玉米近红外漫反射光谱，经平滑处理和多元散射校正（MSC）后，用主成分分析法对数据进行降维，把前8个主成分作为输入建立三层LMBP神经网络模型，模型对未知样本的识别率达到95%。

该方法具有快速、无损、无污染、成本低等优点，避免了人工鉴别中主观因素的影响，克服了其他鉴别方法破坏种子、过于复杂、耗时的缺点。

（2）基于可见—近红外光谱技术与BP-ANN算法的污水类型鉴定

对4种不同类型的污水的分析结果表明，采用可见-近红外光谱技术结合BP-ANN算法进行污水类型的鉴别是可行的，从而为污水类型的快速、无污染、低成本鉴别提供了一种新的方法。

（3）基于偏最小二乘法的近红外光谱定量分析模型预测蛹虫草中腺苷含量

应用PLS方法结合NIR光谱建立了测定蛹虫草中腺苷含量的定量分析模型，模型经过校正集样品的内部的交互验证和预测集对模型预测能力的检验，选择最适的主因子数，得到最优的PLS定量分析模型。

该模型具有较好的稳健性、拟合度和较高的预测精度，且方便快捷、无污染、无破坏性，能够实现在线检测，可在中药有效成分检测方面推广应用。

（4）基于神经网络的近红外光谱鉴别蜂蜜品种研究

提出用傅里叶近红外光谱结合主成分分析和人工神经网络建立荆条蜜、洋槐蜜和枣花蜜神经网络鉴别模型，对样品的预测识别准确率为100%，说明了运用该方法快速、准确鉴别蜂蜜品种的可行性，为其他蜂蜜品种的快速鉴别提供了新的思路和方法，但由于用来预测的样本数量较少，需要增加样本数量和品种类型，进一步建立适用范围更广泛的模型。

（5）近红外光谱技术结合人工神经网络鉴别生鲜奶和蛋白掺假奶

以牛奶和分别掺有羊奶、豆浆的掺假奶为原料，利用近红外光谱仪对样品进行扫描并得到光谱数据，应用主成分分析结合人工神经网络技术对试验数据进行多元统计分析，研究鉴别原料乳蛋白掺假的可行性。

分析结果表明：

应用主成分分析法，得到能反映牛奶99.32%光谱信息的主成分。

由这几个主成分得到的得分图，可以区分掺羊奶和豆浆的牛奶，但不能完全区分生鲜奶；选用人工神经网络进行进一步信息提取与种类判别，将主成分作为人工神经网络的输入，对应的牛奶种类作为输出，建立了一个三层BP神经网络模型，模型对建模集样本的鉴别率为96.23%,，对预测集样本的鉴别率为95.24%。

说明该方法能快速无损地鉴别原料乳中的蛋白掺假。

（6）一种基于可见-近红外光谱快速鉴别茶叶品种的新方法

提出了一种用可见-近红外光谱技术快速无损鉴别茶叶品种的新方法。

应用可见-近红外光谱仪测定5个品种茶叶的光谱曲线，用主成分分析法对不同品种茶叶进行聚类分析并获得茶叶的可见-近红外光谱数据的主成分，再结合人工神经网络技术建立模型进行品种鉴别。

主成分分析表明，以主成分1和2对所有建模样本的得分值做出的得分图，对不同种类茶叶具有较好的聚类作用，可以定性分析茶叶种类。

把主成分分析得到的前6个主成分作为神经网络的输入，茶叶品种值作为神经网络的输出，通过5个茶叶品种共125个样本的训练和学习，建立了茶叶品种鉴别的3层BP人工神经网络模型，对未知的25个样本进行鉴别，品种识别准确率达到100%。

说明本文提出的方法具有很好的分类和鉴别作用，为茶叶的品种快速鉴别提供了一种新方法。

1.4、本文概况

近红外光谱分析技术是根据有机分子含氢基团X-H的近红外吸收，从样品负责、重叠、变动的背景中提取弱信息的技术，结合化学计量学算法成功地用于食品、药品定性定量分析，具有速度快、成本低及重现性好等优点。

人工神经网络（ANN）是一种模拟人脑功能的全新的非线性信息处理系统，作为化学计量学方法的一种，得到越来越多的应用，其理论基础是神经网络的数学模型，包括监督式和无监督式等许多算法。

目前近红外分析中应用最多的是多层前馈误差反向传播人工神经网络（BP+ANN），它是由非线性变换神经单元组成的一种前馈型网络，具有良好的非线性映射逼近能力和预测能力。

近年来，近红外光谱技术结合BP+ANN方法在鉴别可乐品牌、咖啡品牌、苹果品种等方面取得良好效果，但该技术用于蜂蜜品种的研究在国内外文献上少有报道。

本文是利用偏最小二乘法与人工神经网络结合的应用，判断PLSR、PCA+ANN与PLS+ANN三种模型的误差大小，判断PLS+ANN定量分析模型是否适合茶叶在近红外光谱中的应用，然后选择最为合适的预处理方法并选择隐含节点数。

本文初步探讨了近红外光谱结合BP+ANN法建立茶多酚和咖啡碱的定量分析模型，以期将该方法成为茶叶定量分析的一种新技术，并能得到广泛应用。

2、近红外光谱分析技术简介

2.1、近红外光谱分析技术原理

近红外光谱是介于中红外光谱和可见光谱之间的光谱，其波长范围一般指800~2500nm。

近红外光谱吸收带是有机物质中X-H键（主要是C-H、O-H、N-H基频吸收的倍频、合频和差频吸收的叠加。

不同基团产生的光谱在吸收峰位置和强度上有所不同，根据朗伯-比尔定律，随着样品组成或者结构的变化，其光谱特征也将发生变化，这是近红外光谱分析技术的理论基础。

物质对近红外光吸收相对较弱，光子能透射到物质的一定深度，部分光子被物质吸收，部分重新反射回来，还有的可能透过物质。

与物质相互作用后的反射光和透射光就携带了物质的成分信息。

通过接收反射光谱或透射光谱，并以现代化学计量学方法对其进行解析，建立模型，可实现多种有机物及其混合物的定性和定量分析。

2.2、近红外光谱分析技术的特点

（1）分析效率高

NIR技术检测过程比较快速，每个样品的分析时间一般不超过1min，还可以同时测量多个成分，分析效率得到极大提高。

（2）NIR仪器自动化程度高

对操作人员要求低，仪器可根据用户自己的要求任意设计操作流程。

（3）对样品无损伤

近红外光谱分析中只是取得样品的光谱信号，在测定光谱时不会损伤样品，不会对样品产生影响。

在生物学研究中，对采样技术、试验设计有特别意义。

（4）方法适用性强

对环境的要求低，既可适用于实验室，也可用于生产现场对样品进行快速检测。

还可以实现多渠道对生产工艺流程的关键质控点进行在线检测。

（5）简化分析过程

无需复杂的样品预处理步骤，避免了传统分析技术如化学滴定、色谱等方法所带来的误差，使得分析过程变得尤其简单，大大减少劳动强度。

（6）分析成本低

一般不用其他分析试剂，使用时只需数十瓦电能，维护成本低。

2.3、近红外光谱技术的仪器

近红外光谱分析仪器的分类根据分光系统：

固定波长滤光片型、光栅色散型、快速傅立叶变换型和声光可调滤光器（AOTF）型。

光栅色散型仪器根据使用检测器的差异又分为扫描式和固定光路两种。

根据近红外光谱的发生机理（即测试方法），主要分为三种类型：

透射测定型，漫透射测定型和反射测定型。

透射测定型，用于透明样品的分析；漫透射测定型，样品中含有光散射物质，光在穿透分析样品时，除了吸收外还有多次散射；反射测定型，近红外光照射到样品表面后，由于样品表面的状态和结构的不同，光线发生不同的多次反射。

根据用途可以分为两种类型：

通用型和专用型。

通用型仪器常常可以作为获得标准光谱图的仪器来使用，主要用于实验室和大型企业，对用户的科技水平要求较高。

专用型是就某个专用方面专门开发的专用仪器，例如测牛奶的组成成分。

通用型以美国PerkinElmer和德国Bruker的近红外光谱仪器为代表，性能非常好，处于世界领先地位，对用户的操作水平要求较高。

专用型以丹麦

FOSS公司生产的近红外光谱仪器为代表。

2.4、近红外光谱分析方法

近红外光谱分析技术的应用过程应用NIR光谱进行检测的技术关键就是在化学成分和光谱吸收之间建立一种定量的函数关系，依靠这种关系，就能从未知样品的NIR光谱中求出样品的成分和含量，然后应用建立的数学模型预测其品质。

建立数学模型常用的数学方法包括多元线性回归（MLR）、主成分分析（PCA）、偏最小二乘法（PLS）和人工神经网络（ANN）等。

近红外光谱分析技术的应用过程应用NIR光谱进行检测的技术关键就是在化学成分和光谱吸收之间建立一种定量的函数关系，依靠这种关系，就能从未知样品的NIR光谱中求出样品的成分和含量，然后应用建立的数学模型预测其品质。

建立数学模型常用的数学方法包括多元线性回归（MLR）、主成分分析（PCA）、偏最小二乘法（PLS）和人工神经网络（ANN）等。

①定性分析方法

近红外光谱技术的定性分析是依据同类样品在不同波长下具有相同的光谱，借助多元分析方法，使各种样品能够进行聚类识别，结合某一类定量模型，进而对化合物的各参数做出判断。

②定量分析方法

近红外光谱定量分析步骤如下：

（1）选取一组具有代表性的，已知化学测定值的样品作为校准集，测量出其近红外光谱，建立化学测定值和近红外光谱之间的定量校正模型；

（2）取另一组己知化学测定值的样品作为预测集，扫描出其近红外光谱，将光谱值代入校准方程，得到样品的预测值，用预测值和化学测定值的相关系数和相对标准偏差来衡量所建立的模型的可靠程度；

（3）若所建的校准方程稳定可靠，即可用此模型来对未知样品进行测定。

近红外分析技术的定性与定量分析不同之处在于定量分析必须测定训练集的相应基础数据，精度取决于参考方法本身的精度；定性分析依据主要是光谱图谱本身，因为光谱反映了真实的样品组成和结构信息，相同或近似的样品有着相同或接近的光谱。

2.5、现代近红外光谱的发展和应用

现代近红外光谱分析技术，可充分利用全谱段或多波长下的光谱数据进行定性或定量分析。

由于近红外光谱分析技术具有速度快、效率高、成本低、测试重现性好、测量方便等特点，已经被越来越多地应用于食品工业、石油化工、制药工业等领域。

国内外很多学者研究利用近红外光谱技术区别物质品种，如咖啡品种、草莓品种、瓜类品种、大豆品种、道地山药等。

①在石油炼制工业上的应用

近红外光谱可以快速分析原油、汽油、航空煤油、柴油、润滑油、渣油和沥青等的组成及各种物化性质，如汽油的辛烷值、馏程、密度、雷氏蒸汽压、汽油组成、航煤冰点、柴油凝点、十六烷值、沥青含量等。

由于近红外分析速度很快，显著提高了分析工作效率，分析成本低，能够满足炼油企业生产控制分析要求，并已成为石油炼制过程中不可缺少的分析工具。

②傅立叶红外光谱分析技术在煤结构研究方面的应用

FT-NIR分析技术采用模型化合物对标准浓度确定的方法，对影响煤反应性的官能团进行定量分析，如煤中的烃基、芳氢与脂氢的比例、煤中的含氧官能团、CH2的链长等方面，这一方法的优点是一旦有一条高质量的标准曲线，对任一样品中官能团的浓度就可以快速准确地进行标定。

③在药物分析及药物生产方面的应用

NIR分析技术以其快速方便、适应在线分析和无损分析的特点，在药物分析中得到了重视和应用，随着技术的不断发展和仪器的不断更新，NIR技术在医药研究和医药生产中的作用会越来越重要。

④在葡萄酒行业中的应用

NIR分析技术可替代传统的湿化学方法对葡萄酒类产品或半成品中各种指标，如酒精、总糖、滴定酸、游离SO2、干浸出物等进行快速和无损检验