引用本文
孟庆龙, 张艳, 尚静. 基于高光谱成像的猕猴桃表面疤痕无损识别[J]. 浙江农业学报, 2019,31(8): 1372-1378.
MENG Qinglong, ZHANG Yan, SHANG Jing. Nondestructive recognition of surface defect on kiwifruits using hyperspectral imaging technology[J]. ACTA AGRICULTURAE ZHEJIANGENSIS, 2019,31(8): 1372-1378.
  
Doi: 10.3969/j.issn.1004-1524.2019.08.19
Permissions
Copyright©2019, 《浙江农业学报》编辑部
《浙江农业学报》编辑部 所有
基于高光谱成像的猕猴桃表面疤痕无损识别
孟庆龙1,2, 张艳2,*, 尚静1,2
1.贵阳学院 食品与制药工程学院,贵州 贵阳 550005
2.贵阳学院 农产品无损检测工程研究中心,贵州 贵阳 550005
*通信作者,张艳,E-mail: Eileen_zy001@sohu.com

作者简介:孟庆龙(1989—),男,河北张家口人,博士,讲师,研究方向为农产品无损检测。E-mail: scumql@163.com

收稿日期: 2019-01-12
基金资助: 贵州省科技厅联合基金(黔科合LH字〔2014〕7174号); 贵州省科技计划(黔科合基础〔2019〕1010号); 贵州省普通高等学校工程研究中心(黔教合KY字〔2016〕017); 贵阳市财政支持贵阳学院学科与硕士点建设项目(SY-2019); 贵州省教育厅自然科学研究项目(〔2013〕199号)
摘要

为实现猕猴桃表面疤痕的快速无损识别,以贵长猕猴桃为研究对象,采用高光谱图像采集系统(400~1 000 nm)采集完好无损猕猴桃和表面有疤痕猕猴桃的高光谱图像。对采集到的高光谱图像进行了最小噪声分离变换,结合阈值分割及数学形态学处理方法提出了猕猴桃表面疤痕的识别方法。结果表明:采用最小噪声分离变换可有效地消除高光谱图像中的噪声;完好无损和表面有疤痕的猕猴桃样本在700~810 nm以及810~1 000 nm的光谱反射率值具有明显的差异,选取785.98 nm处的光谱反射率值为0.30~0.56以及982.59 nm处的光谱反射率值为0.54~0.73作为区分猕猴桃正常区域和表面疤痕区域的阈值条件,进一步利用阈值分割方法对60个完好无损的和60个表面有疤痕的猕猴桃进行识别,正确识别率分别为98.3%和95.0%,说明高光谱成像技术可用于猕猴桃表面疤痕的快速无损识别。

关键词: 猕猴桃; 表面疤痕; 高光谱成像; 无损识别
中图分类号:S127 文献标志码:A 文章编号:1004-1524(2019)08-1372-07
Nondestructive recognition of surface defect on kiwifruits using hyperspectral imaging technology
MENG Qinglong1,2, ZHANG Yan2,*, SHANG Jing1,2
1. Food and Pharmaceutical Engineering Institute, Guiyang University, Guiyang 550005, China
2. The Research Center of Nondestructive Testing for Agricultural Products, Guiyang University, Guiyang 550005, China
Abstract

In order to explore a rapid and nondestructive recognition method to identify kiwifruits with surface defect, the hyperspectral imaging system was used to collect the hyperspectral image of Guichang kiwifruits with no defect and surface defect. After the minimum noise fraction transform (MNF), threshold segmentation and mathematical morphology, the recognition algorithm for kiwifruits with surface defect was proposed and then applied in 60 intact kiwifruits and 60 kiwifruits with surface defect. The results showed that the noise of the hyperspectral image of kiwifruits could be effectively removed by MNF transform. And the intact kiwifruits and kiwifruits with surface defect had obvious reflectance value between 700-810 nm and 810-1 000 nm. The spectral reflectance between 0.30-0.56 at 785.98 nm and the spectral reflectance between 0.54-0.73 at 982.59 nm were both selected as the threshold conditions to distinguish the region of normal and surface defect on kiwifruits. The correct identification rates for the intact kiwifruits and kiwifruits with surface defect reached 98.3% and 95.0%, respectively, which indicated that the hyperspectral imaging technology could be effective for identifying kiwifruits with surface defect.

Keyword: kiwifruit; surface defect; hyperspectral imaging; nondestructive recognition

猕猴桃营养价值高, 拥有“ 水果之王” 的美誉。我国猕猴桃栽培面积世界第一, 种类占世界90%[1, 2]。然而, 猕猴桃在生长过程中, 经常会受到各种因素的影响导致猕猴桃表面出现疤痕, 极大地影响了猕猴桃的品质和分级检测。另外, 猕猴桃果皮颜色较深, 其表面疤痕很难被肉眼识别。传统的分级检测方法大多是人工操作, 耗时耗力, 而且效率低, 无法满足大规模生产的需求。因此, 提出一种快速、无损、高效的猕猴桃表面疤痕检测方法在猕猴桃分级检测领域中具有较好的应用前景。近年来, 基于高光谱成像技术的无损检测技术以其高效、无损、可实时在线检测等诸多优点受到科研工作者的广泛关注, 被广泛应用于食品、医药和化工等领域[3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15]。国内外研究学者对猕猴桃的品质检测分析大多集中在猕猴桃内部品质的定量检测方面[16, 17, 18], 而在猕猴桃外部品质(早期损伤、表面缺陷等)检测方面仍需更多的努力。郭文川等[19]采用近红外漫反射光谱技术结合极限学习机建立了采摘后2 ℃冷藏下10 d内的碰撞损伤猕猴桃、挤压损伤猕猴桃与无损猕猴桃的动态判别模型, 对预测集中损伤猕猴桃和无损猕猴桃的总正确识别率为92.4%。迟茜等[20]基于近红外高光谱成像技术提出了早期损伤猕猴桃的识别算法, 对70个无损猕猴桃和70个隐性损伤猕猴桃的正确识别率分别为100%和95.7%, 平均正确识别率为97.9%。已报道的文献大多采用高光谱成像技术结合图像处理技术来识别猕猴桃表面损伤或虫伤, 而采用高光谱成像技术结合图像分割技术来检测猕猴桃表面疤痕的研究鲜有报道。

本实验以贵长猕猴桃为研究对象, 采用高光谱成像技术结合阈值分割技术以及数学形态学处理方法实现猕猴桃表面疤痕的无损识别, 以期为开发猕猴桃表面疤痕在线快速检测系统提供研究基础。

1 材料与方法
1.1 材料

实验所用贵长猕猴桃采摘于贵州修文县猕猴桃基地, 从不同的果树上随机采摘样本, 剔除病虫害、损伤及形状异常的果实, 挑选大小均匀一致、完好无损和表面有疤痕的新鲜猕猴桃各60个。实验前12 h将所有猕猴桃样本置于室温条件下, 以使猕猴桃样本温度均匀且回到室温。

1.2 高光谱图像采集系统

试验使用的高光谱图像采集系统(GaiaField-F-V10, 四川双利合谱科技有限公司), 结构示意图如图1所示。该系统主要包括:1, CCD相机(Imperx IPX-2M30, 像素为1 392 pixel× 1 040 pixel); 2, 成像光谱仪(Imspector V10, Spectral Imaging Ltd., Oulu, Finland); 3, 镜头(HSIA-OL23, 焦距:23 mm); 4, 漫反射光源; 5, 精密防尘型电动平移台; 6, 暗箱; 7, 计算机。其中, 成像光谱仪的分辨率为3.5 nm, 数值孔径为F/2.8, 图像空间分辨率为696× 700, 光谱采集范围为400~1 000 nm; 漫反射光源为4个200 W溴钨灯, 采用梯形结构安装于暗箱中。

图1 高光谱图像采集系统示意图
1, CCD相机; 2, 成像光谱仪; 3, 镜头; 4, 漫反射光源; 5, 电动平移台; 6, 暗箱; 7, 计算机。Fig.1 Schematic diagram of hyperspectral imaging acquisition system
1, CCD camera; 2, Imaging spectrograph; 3, Camera lens; 4, Diffusing reflection light sources; 5, Electric translation stage; 6, Dark chamber; 7, Computer.

1.3 高光谱图像采集与校正

将猕猴桃样本放置在电动平移台上, 根据试验要求, 首先, 调整系统参数, 以确保采集的图像清晰且不失真。经过多次调整和优化, 最终确定CCD相机的曝光时间是9.5 ms, 相机镜头与样本距离为40 cm, 电动平移台的移动速度是1.35 cm· s-1。然后, 对待检测样本逐一扫描, 采集完好无损和表面有疤痕的猕猴桃高光谱图像。高光谱图像数据采集软件应用的是Spectral SENS(Spectral Imaging Ltd., 芬兰)。

同时, 由于暗箱中暗电流的存在, 不同波段条件下光源强度分布不均匀以及猕猴桃的形状差异等都会导致在光照强度较弱波段采集到的图像含较大的噪声, 故需对采集到的高光谱图像进行黑白校正, 以消除部分噪声的影响。即在与样本采集相同的系统条件下, 首先, 扫描标准白色校正板, 得到全白的标定图像W; 然后, 盖上相机的镜头盖进行图像采集得到全黑的标定图像B; 最后, 按照下面校正公式完成图像标定, 采集得到的原始图像I变成校正图像R:

R= I-BW-B。(1)

式中:I为样本的原始高光谱图像; W为白板的漫反射图像; B为暗图像; R为校正后的高光谱图像。

1.4 高光谱图像去噪

经过黑白校正后的高光谱图像仍含有一些噪声, 需要对高光谱图像进一步去噪声处理。最小噪声分离(minimum noise fraction, MNF)变换是将高光谱图像的主要信息集中在前面几个波段, 主要作用是判断图像数据维数, 分离数据中的噪声, 减少后处理中的计算量。使用MNF变换从数据中消除噪声的过程:首先进行正向MNF变换, 判定哪些波段包含相关图像, 用波谱子集选择“ 好” 波段或平滑噪声波段, 然后进行一个反向MNF变换。该过程在ENVI 5.4(Research System Inc., 美国)软件中执行。

1.5 阈值分割方法

本实验首先需要将猕猴桃样本与背景分割开来以便消除背景噪声, 然后将表面缺陷部位从猕猴桃中分割出来, 从而确定表面缺陷部位的位置。通常背景部位与猕猴桃区域在某一波段的相对反射率差异明显。即选择样本和背景反射率差异大的波段对采集的高光谱图像进行分割, 当某像素对应的光谱值大于阈值时被保留, 小于阈值时, 被置为0。因此, 可选取在区域内某一波段的单波段图像为特征图像, 然后对特征图像采用阈值分割算法用以分离猕猴桃与背景, 形成二值化图像, 以此二值化图像对高光谱图像进行掩膜处理, 用以消除背景噪声。随后结合掩膜后的高光谱图像进行二次阈值分割, 实现猕猴桃表面缺陷区域的分割。

2 结果与分析
2.1 猕猴桃高光谱图像处理

图2为经过黑白校正后的猕猴桃样本高光谱图像。从图2可以看出, 由于猕猴桃果皮颜色较深, 仅凭外部图像信息很难完全识别出表面有疤痕的猕猴桃, 另外, 猕猴桃果皮颜色与背景颜色相近, 需要通过猕猴桃样本与背景的光谱特征消除背景。

图2 经过黑白校正后的猕猴桃样本高光谱图像Fig.2 Hyperspectral image of kiwifruits after correction

为了保证高光谱图像中仅有猕猴桃样本信息, 通过求取猕猴桃果实区域中所有采样点下光谱反射率的平均值, 构建掩膜以去除背景, 使高光谱图像中仅含有猕猴桃样本信息。图3给出了猕猴桃样本区域和背景区域的光谱反射率曲线, 从图中可以看出, 在波长901.46 nm处猕猴桃样本区域的光谱反射率值均大于0.19, 而背景区域的光谱反射率值均小于0.19。因此, 在采用阈值分割方法去除背景时, 本实验选择特征波长为901.46 nm, 反射率阈值为0.19。图4给出了猕猴桃样本的掩膜图及其掩膜后得到的高光谱图像, 从图中可以看出, 去除背景后的高光谱图像中仅含有猕猴桃样本, 便于进一步采用阈值分割方法提取猕猴桃样本的表面疤痕。

图3 猕猴桃样本区域和背景区域光谱反射率曲线Fig.3 Spectral reflectance curves of the kiwifruits and background areas

图4 猕猴桃样本的掩膜图及其掩膜后得到的高光谱图像Fig.4 Image of mask for kiwifruits and its hyperspectral image after masking

对去除背景后的猕猴桃样本的高光谱图像进行MNF变换, 进一步消除高光谱图像中存在的噪声。经过MNF变换之后的其中3个猕猴桃样本的前3个MNF成分图像如图5所示。MNF变换后的特征曲线如图6所示, 从图6可以看出, 前15个MNF波段对应的特征值均大于1.25, 且前15个MNF成分累积百分比超过87.87%(即经过MNF变化之后的前15个成分图像包含了猕猴桃样本大量的有效信息)。因此, 本实验选取前15个MNF成分图像进行反向MNF变换, 以便消除猕猴桃高光谱图像中存在的噪声。

图5 部分猕猴桃样本经过MNF变换后前3个成分图像Fig.5 The first three component images of kiwifruits after MNF transform

图6 MNF变换后的特征曲线Fig.6 Characteristic curve after MNF transform

2.2 猕猴桃正常和表面疤痕区域的光谱特征

分别选取60个完好无损猕猴桃样本正常区域和60个表面有疤痕猕猴桃样本疤痕区域中的150个像素点作为感兴趣区域(ROIs), 所有感兴趣区域的平均光谱反射率曲线如图7所示。从图7中可以看出, 猕猴桃正常区域和表面有疤痕区域的光谱曲线在400~700 nm变化趋势基本一致, 但在700~810 nm, 正常区域的平均光谱反射率要高于表面有疤痕区域的平均光谱反射率, 而在810~1 000 nm, 表面有疤痕区域的平均光谱反射率要高于正常区域的平均光谱反射率。因此, 可以利用这两个波段范围的光谱反射率差异, 选取785.98 nm处的光谱反射率值为0.30~0.56以及982.59 nm处的光谱反射率值为0.54~0.73, 作为区分猕猴桃正常区域和表面疤痕区域的阈值条件, 通过阈值分割方法识别出表面有疤痕的猕猴桃。

图7 猕猴桃正常区域和表面疤痕平均光谱反射率曲线Fig.7 Average spectral reflectance curves of the normal and surface defect areas

2.3 猕猴桃表面疤痕的识别

由上面的分析可知, 在700~1 000 nm猕猴桃正常区域和表面有疤痕区域的光谱反射值具有明显的差异。实验选取785.98 nm处的光谱反射率值为0.30~0.56以及982.59 nm处的光谱反射率值为0.54~0.73, 作为区分猕猴桃正常区域和表面疤痕区域的阈值条件, 满足阈值条件的猕猴桃样本区域置为1(如图8中白色部分表示猕猴桃表面疤痕区域), 其他区域的被置为0(如图8中黑色部分表示猕猴桃正常区域), 部分猕猴桃表面疤痕识别结果如图8所示。从图8可以看出, 猕猴桃样本1和样本2表面检测出有1处疤痕, 样本3表面检测出有5处疤痕, 该方法很好地检测出表面有疤痕的猕猴桃样本。表1进一步给出了猕猴桃表面疤痕无损检测的正确识别率, 从表中可以看出采用该识别方法能够正确识别出完好无损猕猴桃、表面有疤痕猕猴桃的数目分别为59、57, 正确识别率分别达98.3%、95.0%。

图8 部分表面疤痕猕猴桃的识别结果Fig.8 Identification results of surface defect kiwifruits

表1 完好无损和表面疤痕猕猴桃的识别结果 Table 1 Identification results on intact and surface defect kiwifruits
3 结论

以贵长猕猴桃为研究对象, 利用高光谱成像技术结合阈值分割技术提出了猕猴桃表面疤痕识别方法。猕猴桃高光谱图像经MNF变换后的前15个波段对应的特征值均大于1.25, 且前15个MNF成分累积百分比超过87.87%, 进而选取前15个MNF成分图像进行反向MNF变换, 以便消除高光谱图像中存在的噪声。在700~810 nm, 猕猴桃正常区域的平均光谱反射率要高于表面有疤痕区域的平均光谱反射率, 而在810~1 000 nm, 表面有疤痕区域的平均光谱反射率要高于正常区域的平均光谱反射率, 利用这两个波段范围的光谱反射率差异, 通过阈值分割方法识别出表面有疤痕的猕猴桃, 该检测方法对60个完好无损猕猴桃和60个表面有疤痕猕猴桃的正确识别率分别为98.3%和95.0%。在后续研究中可以从面积、位置等多角度进行更加充分验证, 提升猕猴桃表面疤痕的识别效果。

参考文献
[1] 韩礼星, 黄贞光, 李明, 等. 加入WTO后我国猕猴桃产业的发展策略[J]. 果树学报, 2003, 20(3): 218-223.
HAN L X, HUANG Z G, LI M, et al. On the strategies for the development of kiwifruit industry in China af ter accessed to WTO[J]. Journal of Fruit Science, 2003, 20(3): 218-223. (in Chinese with English abstract) [本文引用:1]
[2] 周逸腾, 邴峰, 王文举, 等. 基于图像处理的猕猴桃缺陷检测研究[J]. 电脑知识与技术, 2012, 8(16): 3979-3981.
ZHOU Y T, BING F, WANG W J, et al. Research on detection of kiwifruit defect based image processing[J]. Computer Knowledge and Technology, 2012, 8(16): 3979-3981. (in Chinese with English abstract) [本文引用:1]
[3] 张国圣, 许童羽, 于丰华, 等. 基于高光谱的水稻叶片氮素估测与反演模型[J]. 浙江农业学报, 2017, 29(5): 845-849.
ZHANG G S, XU T Y, YU F H, et al. Nitrogen content inversion of rice leaf based on the hyperspectral data[J]. Acta Agriculturae Zhejiangensis, 2017, 29(5): 845-849. (in Chinese with English abstract) [本文引用:1]
[4] 刘立新, 李梦珠, 赵志刚, 等. 高光谱成像技术在生物医学中的应用进展[J]. 中国激光, 2018, 45(2): 1-10.
LIU L X, LI M Z, ZHAO Z G, et al. Recent advances of hyperspectral imaging application in biomedicine[J]. Chinese Journal of Lasers, 2018, 45(2): 1-10. (in Chinese with English abstract) [本文引用:1]
[5] 冯迪, 纪建伟, 张莉, 等. 基于高光谱成像提取苹果糖度与硬度最佳波长[J]. 发光学报, 2017, 38(6): 799-806.
FENG D, JI J W, ZHANG L, et al. Optimal wavelengths extraction of apple brix and firmness based on hyperspectral imaging[J]. Chinese Journal of Luminescence, 2017, 38(6): 799-806. (in Chinese with English abstract) [本文引用:1]
[6] 杜剑, 胡炳樑, 张周锋. 基于卷积神经网络与显微高光谱的胃癌组织分类方法研究[J]. 光学学报, 2018, 38(6): 267-273.
DU J, HU B L, ZHANG Z F. Gastric carcinoma classification based on convolutional neural network and micro-hyperspectral imaging[J]. Acta Optica Sinica, 2018, 38(6): 267-273. (in Chinese with English abstract) [本文引用:1]
[7] 杨福芹, 冯海宽, 李振海, 等. 基于高光谱的苹果叶片叶绿素含量估算[J]. 浙江农业学报, 2017, 29(10): 1742-1748.
YANG F Q, FENG H K, LI Z H, et al. Estimation of apple leaf chlorophyll content based on hyperspectral data[J]. Acta Agriculturae Zhejiangensis, 2017, 29(10): 1742-1748. (in Chinese with English abstract) [本文引用:1]
[8] LI B C, HOU B L, ZHANG D W, et al. Pears characteristics (soluble solids content and firmness prediction, varieties) testing methods based on visible-near infrared hyperspectral imaging[J]. Optik, 2016, 127(5): 2624-2630. [本文引用:1]
[9] ERKINBAEV C, HENDERSON K, PALIWAL J. Discrimination of gluten-free oats from contaminants using near infrared hyperspectral imaging technique[J]. Food Control, 2017, 80: 197-203. [本文引用:1]
[10] MO C, KIM G, KIM M S, et al. Fluorescence hyperspectral imaging technique for foreign substance detection on fresh-cut lettuce[J]. Journal of the Science of Food and Agriculture, 2017, 97(12): 3985-3993. [本文引用:1]
[11] SIEDLISKA A, BARANOWSKI P, ZUBIK M, et al. Detection of pits in fresh and frozen cherries using a hyperspectral system in transmittance mode[J]. Journal of Food Engineering, 2017, 215: 61-71. [本文引用:1]
[12] 马惠玲, 王若琳, 蔡骋, 等. 基于高光谱成像的苹果品种快速鉴别[J]. 农业机械学报, 2017, 48(4): 305-312.
MA H L, WANG R L, CAI C, et al. Rapid identification of apple varieties based on hyperspectral imaging[]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 305-312. (in Chinese with English abstract) [本文引用:1]
[13] MUNERA S, AMIGO J M, ALEIXOS N, et al. Potential of VIS-NIR hyperspectral imaging and chemometric methods to identify similar cultivars of nectarine[J]. Food Control, 2018, 86: 1-10. [本文引用:1]
[14] 王松磊, 吴龙国, 康宁波, 等. 基于高光谱图谱融合技术的宁夏滩羊肉嫩度检测方法研究[J]. 光电子·激光, 2016, 27(9): 987-995.
WANG S L, WU L G, KANG N B, et al. Study on Tan-lamb mutton tenderness by using the fusion of hyperspectral spectrum and image information[J]. Journal of Optoelectronics· Laser, 2016, 27(9): 987-995. (in Chinese with English abstract) [本文引用:1]
[15] 刘晶晶, 刘付龙, 史铁, 等. 高光谱图像技术检测苹果外部损伤[J]. 中国食品学报, 2018, 18(1): 278-284.
LIU J J, LIU F L, SHI T, et al. Detection of external damage of apple by hyperspectral image technique[J]. Journal of Chinese Institute of Food Science and Technology, 2018, 18(1): 278-284. (in Chinese with English abstract) [本文引用:1]
[16] 董金磊, 郭文川. 采后猕猴桃可溶性固形物含量的高光谱无损检测[J]. 食品科学, 2015, 36(16): 101-106.
DONG J L, GUO W C. Nondestructive detection of soluble solid content of postharvest kiwifruits based on hyperspectral imaging technology[J]. Food Science, 2015, 36(16): 101-106. (in Chinese with English abstract) [本文引用:1]
[17] 赵凡, 董金磊, 郭文川. 高光谱图像光谱提取区域对猕猴桃糖度检测精度的影响[J]. 现代食品科技, 2016, 32(4): 223-228.
ZHAO F, DONG J L, GUO W C. Effect of spectral extraction regions in hyperspectral images on the precision in determining the sugar content of kiwifruits[J]. Modern Food Science and Technology, 2016, 32(4): 223-228. (in Chinese with English abstract) [本文引用:1]
[18] GUO W C, ZHAO F, DONG J L. Nondestructive measurement of soluble solids content of kiwifruits using near-infrared hyperspectral imaging[J]. Food Analytical Methods, 2016, 9(1): 38-47. [本文引用:1]
[19] 郭文川, 王铭海, 谷静思, 等. 近红外光谱结合极限学习机识别贮藏期的损伤猕猴桃[J]. 光学精密工程, 2013, 21(10): 2720-2727.
GUO W C, WANG M H, GU J S, et al. Identification of bruised kiwifruits during storage by near infrared spectroscopy and extreme learning machine[J]. Optics and Precision Engineering, 2013, 21(10): 2720-2727. (in Chinese with English abstract) [本文引用:1]
[20] 迟茜, 王转卫, 杨婷婷, 等. 基于近红外高光谱成像的猕猴桃早期隐性损伤识别[J]. 农业机械学报, 2015, 46(3): 235-241, 234.
CHI Q, WANG Z W, YANG T T, et al. Recognition of early hidden bruises on kiwifruits based on near-infrared hyperspectral imaging technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 235-241, 234. (in Chinese with English abstract) [本文引用:1]