作者简介:赵学观(1988—),男,山东聊城人,博士,助理研究员,主要从事农业智能装备的研究。E-mail: zhaoxg@nercita.org.cn
提出了一种基于主成分分析优化(PCA)及竞争性神经网络(LVQ)的番茄种子品种识别方法,对番茄品种识别技术与算法进行了研究,提取了番茄种子的几何特征、纹理特征和7个不变矩特征,通过主成分分析选取了4个主成分作为人工神经网络的输入,对黑迪、红迪、佳粉十八、金迪、丘比特5个品种进行了LVQ神经网络品种识别试验。试验结果表明,竞争层节点数目为20,训练次数为96时每粒种子识别的平均耗时最短,识别准确率最高,分别为0.2 s、90.5%,基于机器视觉的番茄种子品种识别与检测方法是可行的。
In order to realize the real-time, accurate and no-damage mechanization identification of tomato seed varieties, according to the characteristics of tomato seeds and its image, the tomato varieties identification technology and algorithm were studied. This paper proposed a tomato seed varieties identification method, which is a kind of optimization by LVQ neural network based on principal components analysis, extracting the shape characteristics, texture feature and seven moment invariants of the tomato seeds. Four principal components as the input of artificial neural network were chosen through the principal components analysis. The identification test was conducted on five varieties of Heidi, Hongdi, Jiafen18, Jindi and Cupid. The number of competitive layer neurons and training trials were determined according to the test, which were 20 and 96. Under the condition, the average time of each seed identification was the shortest, and the recognition accuracy was the highest, which were 0.2 s and 90.5% respectively. The research showed that the method of identification and detection of tomato seed varieties based on machine vision is feasible.
在中国, 种子加工粗放, 生产用种纯度不高是种业的突出问题。因种子质量造成的损失往往是其自身价值的几十倍, 番茄种子较小, 在市场中以次充好的现象时有发生[1, 2]。种子纯度的鉴定过程费时费工, 随着种子鉴定精度要求的日益提高, 靠人工感官进行识别判断已经很难满足现代农业的生产要求。机器视觉技术代替人工视觉不仅可以提高工作效率和自动化程度, 而且适应一些复杂环境, 可以减少人工作业中由于主观因素影响出现的误差。因此, 随着机器视觉检测技术的不断发展, 其在农产品品种纯度自动化检测方面的应用越来越广泛[3, 4, 5, 6, 7, 8]。计算机自动识别技术是通过对种子图像进行计算与分析, 提取可区分于其他番茄种类的稳定特征, 借助神经网络技术达到品种分类和识别的目的。国内外基于神经网络的种子品种识别方面进行了大量研究, 并取得了一定的成果。
德黑兰大学Tabrizi等[9]应用特征选择和神经网络分类器相结合的方法识别外周血中的5种白细胞。通过主成分分析法对白细胞特征进行了选择, 建立竞争性神经网络对5种白细胞进行了分类。研究中根据白细胞的特点将颜色、纹理作为细胞分类特征, 而没有考虑细胞Hu不变矩。阿根廷罗萨里奥物理研究所利用朴素贝叶斯分类器评估57种杂草种子, 确定了一个接近最优的12(6个形态+4个颜色+2个纹理)种子特性作为分类参数, 然而该方法在分类器参数选择上存在困难[10]。土耳其乌鲁达大学Kurtulmuş 等[11]提出了一种基于神经网络和计算机视觉的辣椒种子鉴别方法, 首先采集用于辣椒种子分类的颜色、形状和纹理的图像特征, 然后利用顺序特征选择法将特征数目从257减少到10, 但顺序特征选择效率和训练算法识别辣椒准确率不高。
王路等[12]提出一种基于学习矢量量化 (LVQ)神经网络的计算机植物种类识别新方法, 分别提取了叶片的几何特征和纹理特征。应用LVQ神经网络识别植物种类, 该方法对植物种类的识别效率较高。武小红等[13]提出一种将无监督可能模糊聚类同模糊学习矢量量化相结合的无监督可能模糊学习矢量量化(UPFLVQ) 算法, 该算法适用于无学习样本情况下的样本分类, 首先采用主成分分析(PCA) 得到近红外光谱前三个主成分, 并进行了近红外光谱的生菜品种鉴别。
虽然国内外已经进行了一些基于机器视觉的种类识别研究, 但不同目标的特征存在较大差异, 在基于计算机视觉和神经网络的番茄种子品种识别方面尚未报道。本研究的目的是开发一个基于主成分分析— 神经网络的品种分类系统, 并确定神经网络最佳特征模型以达到快速、准确分类识别的目的。为种子生产加工企业进行小粒种子的分选、精拣以及种子推广站进行种子纯度的监督提供技术基础。
供试的番茄品种共有5个, 由国家蔬菜工程技术研究中心及北京卓生农业科技有限公司提供, 分别为黑迪、红迪、金迪、佳粉十八、丘比特, 并剔除了有明显损伤的种子, 挑选形态特征相对标准的种子进行研究。番茄种子品种识别系统主要由硬件系统和软件系统组成, 硬件系统由图像采集系统、图像信息存储设备、图像处理及结果输出设备等组成, 相机选用大恒图像MER-1520-7G系列数字摄像机, 分辨率4608 (H) × 3288 (V)。光源采用大恒图像HPR-150SW/B型环形光源, 光源外径166 mm, 为系统提供均匀照明; 光箱内侧涂有反射性好的白漆; 载物台表面为黑色绒布, 以使背景反射接近漫反射, 使得番茄种子图像光线均匀, 番茄种子随机的彼此互不接触地置于载物台上。种子分类识别系统控制界面采用Microsoft Visual Studio 2012 开发, 通过相机获取的番茄种子图像及处理图像实时显示在控制界面上, 如图1所示。
在图像识别的过程中, 形状特征往往能够提供种子识别的一些重要信息。图像采集时分别将5个品种的种子随机铺散在载物台上, 种子之间保持一定的间距, 所采集的整幅粒群图像如图2所示。
然后再对种子图像进行灰度化、中值滤波、形态学处理等预处理, 最后得到所需图像。中值滤波方法选取模板尺寸为 3× 3, 阈值分割选用自适应阈值分割法, 利用opencv中histogram函数计算直方图并归一化, 计算图像灰度均值avgV, 计算直方图的零阶矩u[i]和一阶矩w[i], 根据公式1, 计算并找到最大的类间方差, 对应此最大方差的灰度值即为要找的阈值。该阈值以最佳门限将图像分割为前景和背景, 实现了图像的二值化并据前景图像轮廓寻找种子的中心。
variance[i]=(avgV* w[i]-u[i])* (avgV* w[i]-u[i])/(w[i]* (1-w[i]))。 (1)
在整幅图像获取基础上, 先定位番茄种子的中心, 采用设定ROI(感兴趣区域)的方式截取每个种子的单独图像, 以种子中心为中心, 在X、Y正负方向110个像素值处, 截取每个大小为220× 220像素的单独图像, 以获得统一大小的种子图像。剔除黏连图像, 提取的5种番茄种子图像如图3所示。
图像阈值化后进行边界跟踪以获得番茄种子的外轮廓, 首先对平滑后的图像进行sobel边缘检测, 对联合的sobel检测图像进行非极大抑制, 连接边缘点并进行滞后阈值处理。在此基础上, 对番茄种子的几何特征进行了特征提取, 实际提取的番茄种子的主要几何特征参数分别为:最小外接圆半径、最大内切圆半径、面积、周长、当量直径、圆度、灰度均值。其中面积为目标物番茄种子的像素点总数, 周长为番茄种子边界的轮廓长度, 当量直径为 4 倍面积与π 比值的平方根, 圆度为种子轮廓的最小外接圆半径与最大内切圆半径的比值, 灰度均值为图像转换为灰度图像后每个种子轮廓内部像素值的平均。番茄种子特征提取过程如图4所示[15, 16], 提取的各品种番茄种子的特征均值如表1所示。
考虑到番茄种子颜色特征向量可以作为品种纯度识别的特征, 本试验首先进行了番茄种子HSV 颜色特征向量的提取, 根据获取的H-S直方图结果发现, 基于HSV空间的颜色特征很难区分不同品种, 其中金迪和丘比特H-S直方图如图5所示, 两个品种种子图像只存在H分量的微小区别。通过在RGB颜色空间的颜色特征提取发现, 同样存在着该问题。因此, 颜色特征并不能作为番茄种子分类的特征。
灰度共生矩阵算法(GLCM)不仅反映了图像的亮度分布特性, 也反映了具有相似亮度和同样亮度的两个像素点在位置上的分布情况。通常可以用一些标量来表征灰度共生矩阵的特征, 本文选取灰度共生矩阵常用的特征。ASM 能量(angular second moment)反映灰度共生矩阵值的
分布情况和纹理粗细度, 令P表示灰度共生矩阵, 则
ASM值越大, 灰度共生矩阵值分布越均匀。灰度均值作为整体反映种子表面感光的特征, 不能反映某个像素值及其领域像素值的亮度的对比情况, 本文进一步选取对比度作为识别特征, 以更好的表达了图像的清晰度和纹理沟纹深浅的程度, 对比度为式(3):
式中:i为图像的宽度; j为图像的高度。
1962年Hu首先提出了不变矩的概念, 矩是一种非常重要的表示目标总体形状的特征量。它对图像的旋转、缩放、平移均不敏感。因此, 本文通过计算番茄种子轮廓的7个不变矩可得到7个矩不变量。二维灰度图像 f(x+y)的(p+q)阶规则矩的一般表达式为[5, 15]:
式中:f(x, y)为(x, y)处图像的灰度值; m10、m01为图像一阶矩, m00图像的零阶矩,
定义归一化中心距为:
Hu不变矩中前3个不变矩为:
由于不变矩的变化范围很大, 为了便于比较, 可利用取对数的方法进行数据压缩; 因此先取绝对值, 再对其取对数, 故实际采用的不变距为
其中, i=1, 2, 3…
全部300幅图像被分为两部分, 240幅图像作为网络的训练集, 其余60张作为测试集, 训练集中每种种子图像48张, 计算每幅图像的 7 个 Hu 氏不变距特征参数, 并取其平均值, 结果见表2。
根据模式识别的知识, 神经网络的每一个输入节点对应着一个特征值, 如果把番茄种子的所有特征直接作为神经网络的输入, 存在着神经网络规模比较庞大的问题。使用主成分分析的方法把多指标转化为少数几个综合指标, 利用主成分综合原始变量的信息, 达到降维的目的。因此, 本文提出了PCA-LVQ番茄品种识别模型, 该模型包括3个步骤[17, 18, 19]。
(1)选取各品种数据样本集并进行标准化处理。将样本集分为2部分, 即训练集和测试集。
这里采用标准差标准化方法, 其公式为
式中:i=1, 2, …, n; j=1, 2, …, m;
(2)对训练集和测试集数据进行主成分分析, 按照累计贡献率大于90%选择主成分。
(3)把训练集选取的主成分输入LVQ神经网络中进行训练, 建立PCA-LVQ番茄种子识别模型, 进行测试样本的分类。
建立16项特征因子的矩阵, 通过Matlab自带函数princomp进行主成分分析。主成分分析的结果如表 3(截取了番茄种子主成分分析的16项特征因子中的前 4 项), 结果表明, 该种子的前4 项特征因子代表了91.58%以上的信息, 因此, 取变换后的4个特征向量就可以代表16个原始特征向量, 并且第一主成分的方差是4.697, 第二主成分的方差是4.221。
虽然BP网络是一种应用最为普遍的网络, 但其采用了基于梯度下降的非线性优化策略, 不能保证求出全局最小值。这里尝试利用LVQ网络来实现模式识别, LVQ网络的优点是只需要直接计算输入向量与竞争层之间的距离, 从而实现模式识别, 因此简单易行[14, 19]。
LVQ网络结构如图6所示, 一个学习矢量量化(LVQ)网络由三层神经元组成, 即输入层、隐含层和输出层。
在进行了上述主成分分析之后, 采用4个主特征作为人工神经网络的输入。本试验只以5个番茄品种作为类别数, 共有5个输出可能, 因此人工神经网络的输出节点数是5个, 对5种目标进行编码聚类, 网络的期望输出为[0 0 1]、[0 1 0]、[0 1 1]、[1 0 0]、[1 0 1]。竞争层节点数应在综合考虑网络训练耗时和误差大小的情况下确定, 通过试验确定竞争层节点数, 试验中选取不同竞争层节点个数分别进行训练。通过对不同竞争层节点数进行仿真试验发现, 竞争层节点数选择得太少就不能建立很好的判断界面, 从而导致一系列的误判现象发生。而竞争层节点数太多, 不仅增加了训练和识别的时间, 而且番茄品种的识别率并没有得到明显地提高, 如图7-A所示, 识别准确率随着网络训练次数的增大不断提高, 竞争层节点数目越大识别准确率增长越快, 当节点数量大于20时, 识别准确率不再随着节点数目的增加而显著提高, 在此条件下, 网络训练次数达到100时, 识别准确率不再随着网络训练次数的增大而显著提高。为保证识别准确率应选择竞争层节点数量大于20, 但竞争层节点数目越大网络训练耗时越大, 如图7-B, 竞争层节点数目25时比数目为20时耗时增加19 s, 综合以上分析, 最终确定竞争层节点数目为20, 训练次数为96次, 在此条件下进行网络训练监测曲线如图8所示。
本系统经过试验对比后决定使用0.02的学习速率。虽然用这个学习速率训练时间还是比较长, 但是它能保证识别准确率, 学习函数采用leranlvl, 期望误差设为 0.1。为了作对比, 本试验分别对LVQ网络和传统的BP网络进行训练识别, 对60张测试图片进行识别, 识别结果如表4所示。
本试验结果可以得出, LVQ神经网络识别速度明显比BP神经网络识别要快, 基于4个主成分的LVQ神经网络识别准确率与全特征识别准确率近似, 可达到90.5%。总体来看, BP神经网络和LVQ神经网络两种方法对番茄种子识别准确率差异不大。相对于 BP 神经网络识别分类, PCA-LVQ识别模型大大提高了识别速度, 为番茄种子分类识别提供了一条行之有效的途径。
为了验证图像处理算法的准确性, 本试验初步搭建了分选系统硬件结构, 如图9所示, 系统控制单元由计算机、西门子PLC及驱动器组成。图像采集处理单元采集图像, 计算机图像处理后将处理结果动态发送至控制系统, 控制系统根据所接收的数据, 驱动直角坐标分拣机械臂移动, 到达需拣出的品种位置打开相应电磁阀, 准确快速实现分拣过程。
试验在国家精准农业研究示范基地进行, 分别取5个品种的种子各200粒, 试验时将5种不同种子等数量的共200粒种子随机铺散在工作台上, 每次设定按照顺序分拣其中一个品种种子, 试验共分5次进行。工作时, 控制器控制步进电机带动负压吸口移动到相应位置, 进行吸种, 设定分拣的种子在气流的作用下进入种子收集装置, 以便于种子的统计, 分拣统计结果如表5所示。佳粉十八的分拣正确率最高, 为98.5%, 黑迪与金迪的分拣正确率较低, 为85%左右, 试验中发现两者之间的误拣率较高。总体分拣正确率为89.8%, 基本与算法的正确率保持一致。系统平均分拣一粒种子的时间为3.2 s, 种子识别算法的速度很难再有较大的提升, 优化分拣运动路径是减少分拣执行机构耗时的重点。由总体提高种子品质的角度出发, 提高种子纯度及种子质量应作为共同考虑的目标, 结合种子外观及内部品质的分拣、检测应作为下一步的重点, 如本研究中黑迪与金迪之间误拣的现象, 可借助内部检测手段, 如X射线检测。
对于人眼很难分辨的番茄种子, 提出了用机器视觉代替人眼对品种进行有效识别的方法, 运用图像处理技术提取番茄种子的形状特征参数, 并利用主成分分析法, 得出一组新的主特征。
通过LVQ神经网络识别试验, 综合考虑识别准确率和网络训练耗时, 确定竞争层节点数目为20, 训练次数为96次, 此时LVQ神经网络的识别准确率为90.5%。
通过LVQ和BP神经网络识别对比试验, 4个主成分的LVQ神经网络识别准确率与全特征识别准确率近似, 总体来看基于BP神经网络和LVQ神经网络对番茄种子的识别准确率差异不大, 但LVQ神经网络识别速度明显加快。
The authors have declared that no competing interests exist.
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|