作者简介:闫建伟(1980—),男,河南鹿邑人,副教授,博士,研究方向为特色自动化装备、机器视觉、智能农业装备。E-mail: jwyan@gzu.edu.cn
利用图像颜色特征,首先分割小麦种子图像进而确定小麦种子轮廓矩,根据其轮廓距确定小麦种子质心坐标,然后根据小麦胚芽鞘图像颜色特征对胚芽鞘图像进行分割、获取小麦胚芽鞘图像,其次利用Zhang-Suen并行快速细化算法对小麦胚芽鞘进行细化获取胚芽鞘骨骼线,进而获取骨骼线图像(单像素)上所有点对胚芽鞘骨骼线进行多段直线曲线近似,最后根据小麦种子轮廓质心坐标、胚芽鞘骨骼线近似曲线和切割距离(给定)确定胚芽鞘的姿态和对小麦胚芽鞘切割点位置进行定位。通过对小麦胚芽鞘30幅图片进行图像处理验证。结果表明,该方法能完整地提取小麦种子和胚芽鞘图像、小麦胚芽鞘姿态及位置信息。基于图像颜色特征的小麦胚芽鞘识别及定位方法,为小麦胚芽鞘的识别与分析提供了准确、快捷、可视的技术手段,对于构建胚芽鞘智能识别、定位的视觉系统及自动化切割装置的研究意义重大。
Using color features of the image, wheat seed image was firstly divided and wheat seed contour moment was determined. The centroid coordinates of wheat seed were determined according to the contour distance. Then the coleoptile image was divided according to color image of wheat coleoptile image to obtain wheat coleoptile. Followed by Zhang-Suen parallel refinement algorithm, wheat coleoptile was refined to obtain the coleoptile skeletal line, and then obtain all the points on the skeletal line image (single pixel) to perform a multi-segment linear curve approximation of the coleoptile skeletal line. Finally, orientation of the coleoptile and position of the cut point of wheat coleoptile were determined based on centroid coordinates of wheat seed outline, approximate curve of the coleoptile skeletal line, and cutting distance (given). Image processing of 30 pairs of wheat coleoptiles was verified by image processing. The results showed that this method could accurately segment wheat coleoptile image, quickly identify wheat coleoptile, attitude and other information. Identification and localization of wheat coleoptile based on image color features provided an accurate, rapid and visual method for the identification, extraction and analysis of wheat coleoptile, and it had great significance for the construction of a visual system and automatic recognition of germ sheath.
胚芽鞘为单子叶植物所特有, 特别是禾本科植物胚芽外的锥形套状物, 是一个鞘状结构。胚芽鞘是植物叶片的保护组织, 有保护胚芽中更幼小的叶和生长锥的作用, 胚芽鞘的尖端含有植物生长素, 对幼苗的出土有很大意义[1]。在植物培养和生物研究等领域, 胚芽鞘相关研究中胚芽鞘的快速准确识别是一项十分重要且繁琐的工作。传统的胚芽鞘识别及切割位置的确定主要依靠操作者的经验及人眼判断, 判断的准确度很大程度上依赖于判断者的主观经验和专业知识的多少, 其合理性和科学性存在明显不足。手工切割胚芽鞘具有操作效率低、劳动强度大、精度低等问题。机器视觉在图像分割、目标定位和模式识别相关研究及生产实践中有一些领域得到广泛应用, 并取得良好的效果。近年来随着图像处理技术的快速发展, 彩色图像分割与目标定位成为图像处理的研究热点, 国内外众多学者利用目标颜色特征和形态学等在不同角度探讨了彩色图像分割[2, 3, 4]、分类[5, 6, 7, 8]与定位方法[9, 10, 11, 12, 13]。唐骏等[14]利用图像处理技术提取玉米形态、颜色和纹理等48个特征, 然后应用BP神经网络模型进行综合识别, 分析不同时期识别效果, 并建立了玉米品种的叶片投射图像特征数据库。何胜美等[15]基于数字图像分析技术, 利用小麦籽粒的20个形态特征和12个颜色特征对小麦样本进行分类和识别, 识别率达到100%, 但多类样本合并后的识别成功率就下降许多。王娜等[16]基于H阈值分割、迭代二值化、图像形态学运算和轮廓提取等算法提取图像特征, 采用遗传算法优化选择分类特征, 并利用费歇尔判别法识别玉米叶部病害, 准确率达90%。钱建平等[17]提出一种基于混合颜色空间的成熟期苹果识别方法, 在不同光照情况下均可以达到较高的识别成功率。二值图像细化[18, 19, 20]是图像后处理一个重要部分, 被广泛应用在图像处理中。图像处理在胚芽鞘方面的研究未见报道, 因此, 研究胚芽鞘图像处理、识别技术及切割位置是一项重要的研究课题。利用图像处理技术以小麦胚芽鞘的颜色特征为依据, 结合胚芽鞘生长特点及形态特征对小麦胚芽鞘进行快速识别及姿态判断, 以期能准确识别小麦胚芽鞘, 判断胚芽鞘姿态和切割位置以及为构建胚芽鞘切割装置视觉系统和装置提供技术支持。
小麦种子培育地点为贵州大学西校区农学院实验室, 培养设备为光照培养箱, 培养方式为水培、无光照、温度为25.6~28.6 ℃。培养时间选在2017年12月27日下午。图像采集于2017年12月31日在实验室内进行。利用尼康(Nikon)D750相机获得小麦图像(图1)共30幅(样本从培养皿中随机选取), 图片格式为JPG, 分辨率为1024× 683像素。试验样本在2017年12月31日早上10:00拍摄获得。在PC机上完成小麦胚芽鞘识别算法开发, PC机配置为Inter Core(TM) i5-6200U、CPU 2.3 GHz、内存4 GB, 基于Windows 7操作系统, 编程工具VS2010+Opencv2.4.10。
RGB(red, green, blue, 即红、绿、蓝)颜色空间是工业界的一种颜色标准, 是基于红、绿、蓝三原色理论建立的颜色空间, 但RGB是一种不均匀的颜色模型, 3个颜色分量的相关性很高。HSV色彩模型(hue/saturation/value, 色度/饱和度/纯度)是根据颜色的直观特性由Smith在1978年创建的一种颜色空间。HSV空间是比RGB颜色空间更接近于人们的经验和对色彩的感知, 可以通过HSV的取值来理解判断图像的颜色、深浅和明亮程度, HSV消除了3个分量的相关性, 可以分别处理而且是相互独立的[21, 22]。本文采用HSV颜色空间, 饱和度(S)是指色彩的纯度, 越高色彩越纯, 低则逐渐变灰, 取0~100%的数值。明度(V), 取0~MAX(计算机中HSV取值范围和存储的长度有关)。HSV颜色空间可以用一个圆锥空间模型来描述。圆锥的顶点处, V=0, H和S无定义, 代表黑色。圆锥的顶面中心处V=MAX, S=0, H无定义, 代表白色。HSV模型分量中的H、S和V与RGB颜色模型转换公式如式(1):
式(1)中R、G、B为RGB颜色空间3个颜色分量, R、G、B∈
小麦胚芽鞘(图1)由小麦种子、种子根和胚芽鞘3部分组成, 根部为亮白色, 小麦种子为橙黄色, 胚芽鞘以黄色为主要颜色。小麦胚芽鞘3部分颜色区分比较明显, 可以通过颜色特征进行图像分割进而获得种子完整轮廓图像。
1.3.1 小麦种子图像分割
根据小麦种子颜色特征和HSV空间颜色分量范围(图2), 确定H、S、V分割阈值(H、S、V范围为11、43、46至21、255、255), 进而进行图像分割获得预分割图像(图3-A)。预分割我们通过遍历整个图像每个像素点, 像素点H、S、V值在分割阈值范围内则H、S、V值不变, 反之为0。预处理图像中噪声通过中值滤波和开运算进行处理, 最后获得小麦种子完整图像(图3-B)。中值滤波和开运算采用11× 11的卷积核。
1.3.2 小麦胚芽鞘图像分割
根据胚芽鞘颜色特征和HSV空间颜色分量范围, 确定H、S、V分割阈值(H、S、V的范围为21、43、46至77、255、255), 进而进行图像分割获得预分割图像(图4-A), 预分割我们通过遍历整个图像每个像素点, 像素点H、S、V值在分割阈值范围内则H、S、V值不变, 反之为0。预处理图像中噪声通过面积阈值、颜色替换和开运算进行处理, 最后获得小麦胚芽鞘完整图像(图4-B)。开运算采用11× 11的卷积核, 面积阈值大小取3 000, 将轮廓面积小于3 000的部分替换为黑色(0, 0, 0)。
本文图像细化采用Zhang-Suen图像细化算法[23]。Zhang-Suen图像细化算法是一个迭代算法, 通过循环所有前景像素点, 对符合条件的像素点进行标记删除, 直到没有像素满足条件为止, 输出即为二值图像细化图像。试验结果表明, 此方法细化条状胚芽鞘图像效果良好(图5)。
1.5.1 计算种子质心
针对已分割小麦种子图像特征, 按照灰度化→ 二值化→ 计算轮廓距→ 轮廓质心等步骤(图6)。二值化采用Ostu方法又称最大类间差方法, 小麦种子轮廓矩和质心坐标由公式(2)计算得出。
Hu提出了对于评价旋转和大小尺度变化不变矩, 常用于形状识别, 刻画事物的形状特征[24], 在连续情况下, 图像函数f(x, y), 那么图像的p+q阶中心距定义为:
式(2)中:
1.5.2 计算胚芽鞘长度
在1.4节中我们获得胚芽鞘细化图像, 因细化图像为单像素图像, 可以将细化图像上所有点的连线作为胚芽鞘近似拟合曲线, 曲线长度即为胚芽鞘长度。点坐标获取和遴选我们采用循环遍历细化图像轮廓, 获取每个像素点在图像中的坐标, 图7-A为循环步长取25时获取的点坐标, 并绘制在胚芽鞘图像上; 图7-B为循环步长为1时获取的点坐标, 同样绘制在胚芽鞘图像上。
假设我们获取点的个数为N, 相邻两点的距离为di(i=1, 2, 3…N-1), 平均距离dmean=
1.5.3 切割位置确定
在小麦胚芽鞘顶端1/3的位置切割后胚芽鞘生长最快[25], 所以切割距离定为胚芽鞘长度D的1/3, 切割点为第
因为每个进行图像识别时每个胚芽鞘姿态位置都不同, 在对图像进行遍历的时候, 胚芽鞘细化图像轮廓的两端都可能成为起点(第1个点), 所以我们以种子质心坐标为基准点, 选取离种子质心距离较远的点作为起点, 这样可以保证起点一定是在胚芽鞘顶端(图8)。
确定切割点坐标后, 将切割点坐标和与切割点坐标相邻(本文选取与切割点间隔15个点的点)的点作为计算切割角度的两个基准点。根据两个基准点坐标计算出两点所在直线斜率K, 则切割角度α 为
试验结果如图9所示, 样本处理结果统计见表1。
| 表1 小麦样本处理结果统计 Table 1 Statistics of wheat sample processing result |
本文在HSV颜色空间下通过小麦胚芽鞘的颜色特征分别对小麦种子和胚芽鞘进行图像分割, 获得种子和胚芽鞘完整分割图像, 并根据小麦胚芽鞘形态特征提出一种胚芽鞘切割位置和姿态确定方法。试验结果表明, 本文方法可以简单有效地对小麦胚芽鞘和种子进行图像分割, 快速识别胚芽鞘及切割位置, 满足胚芽鞘切割装置视觉系统的要求。
试验样本从胚芽鞘培养盘的大量胚芽鞘中随机选取30个进行试验具有代表性; 图像分割算法和胚芽鞘姿态判断方法具有客观性和可重复性, 利用本文图像分割算法只需改变图像分割H、S和V分量阈值和后续去燥处理阈值, 就可以应用于玉米、高粱等与小麦不同品种和种类的胚芽鞘的图像分割, 小麦胚芽鞘姿态判断方法可以为其他单子叶植物(具有胚芽鞘)胚芽鞘姿态判断提供理论参考和依据。通过胚芽鞘图像颜色特征分割获得胚芽鞘完整图像, 胚芽鞘轮廓近似曲线由图像细化获得, 曲线长度由多段直线长度来近似, 可以最大程度代表胚芽鞘长度。
对不同培养时间的小麦胚芽鞘进行特征对比分析, 可以得出培养90 h左右的胚芽鞘生长较好, 更适合进行图像分割试验和胚芽鞘切割位置判断, 在后续胚芽鞘图像识别分割和胚芽鞘切割设备试验时可以选此时期的小麦胚芽鞘样本作为试验样本。
本文方法具有较好的适应性。本文提出的胚芽鞘分割算法和胚芽鞘切割位置和姿态的判断方法具有一定的实用价值, 填补了图像处理技术在胚芽鞘方面的应用, 并为后续胚芽鞘自动切割装置搭建机器视觉系统提供了技术支撑。
(责任编辑 张 韵)
The authors have declared that no competing interests exist.
| [1] |
|
| [2] |
|
| [3] |
|
| [4] |
|
| [5] |
|
| [6] |
|
| [7] |
|
| [8] |
|
| [9] |
|
| [10] |
|
| [11] |
|
| [12] |
|
| [13] |
|
| [14] |
|
| [15] |
|
| [16] |
|
| [17] |
|
| [18] |
|
| [19] |
|
| [20] |
|
| [21] |
|
| [22] |
|
| [23] |
|
| [24] |
|
| [25] |
|

