引用本文
梁长江, 吴雪梅, 王芳, 宋朱军, 张富贵. 基于无人机的田间地膜识别算法研究[J]. 浙江农业学报, 2019,31(6): 1005-1011.
LIANG Changjiang, WU Xuemei, WANG Fang, SONG Zhujun, ZHANG Fugui. Research on recognition algorithm of field mulch film based on unmanned aerial vehicle[J]. ACTA AGRICULTURAE ZHEJIANGENSIS, 2019,31(6): 1005-1011.  
doi: 10.3969/j.issn.1004-1524.2019.06.19
Permissions
Copyright©2019, 《浙江农业学报》编辑部
《浙江农业学报》编辑部 所有
基于无人机的田间地膜识别算法研究
梁长江, 吴雪梅*, 王芳, 宋朱军, 张富贵
贵州大学 机械工程学院,贵州 贵阳 550025
*通信作者,吴雪梅,E-mail: xm_wu@163.com

作者简介:梁长江(1992—),男,河南周口人,硕士研究生,研究方向为图像处理。E-mail: 849593155@qq.com

收稿日期: 2018-11-28
基金资助: 贵州省科技厅科技计划(黔科合GZ字〔2015〕3007-3,黔科合GZ字〔2017〕2595)
摘要

为了满足基于机器视觉的田间地膜智能识别要求,对垂直拍摄的6叶期单垄单行烟田图像进行研究,分析图像中地膜、烟苗和土壤的RGB和HSV分量的直方图,发现B分量和V分量采用阈值分割法能分割出地膜。对地膜图像进行手动阈值分割、迭代阈值分割、大律法分割和基于遗传算法的最大熵值法等分割算法比较,发现迭代阈值分割算法目标识别率最高,为71%,且处理过程用时较短。通过对无人机不同飞行高度下地膜识别情况分析,发现50 m飞行高度下的地膜识别率最高,为80.06%,地膜识别面积为246.83 m2,地膜覆盖率为30.12%。该研究为残膜的智能识别提供方法和参考。

关键词: 无人机; 田间地膜; 阈值分割; 识别率
中图分类号:S127 文献标志码:A 文章编号:1004-1524(2019)06-1005-07
Research on recognition algorithm of field mulch film based on unmanned aerial vehicle
LIANG Changjiang, WU Xuemei*, WANG Fang, SONG Zhujun, ZHANG Fugui
College of Mechanical Engineering, Guizhou University, Guiyang 550025, China
Abstract

In order to meet the requirements of intelligent recognition of field mulch film based on machine vision, the images were taken vertically by unmanned aerial vehicle (UAV) to the tobacco seedlings with mulch film in the field. The component color information histograms based on RGB and HSV color model of mulch film, tobacco seedlings and soil were analyzed. The color information of B component and V component was able to identify mulch film from background with the threshold segmentation method. The manual threshold segmentation, iterative threshold segmentation, large-law segmentation and maximum entropy method based on genetic algorithm were compared. Results showed that the iterative threshold segmentation algorithm had the highest target recognition rate of 71%, and the processing time was the shortest. The mulch film recognition rates under different flight heights was analyzed and figured out. It was found that the film recognition rate at 50 m flight height was the highest as 80.06%, the film recognition area was 246.83 m2, and the film coverage rate was 30.12%. This research provided a method and reference for intelligent identification of mulch film and residual membrane with crop based on UAV.

Keyword: unmanned aerial vehicle; field mulch film; threshold segmentation; recognition rate

地膜覆盖栽培技术引入我国以来广泛应用于农业生产中, 大量研究表明, 覆膜技术在增温、保墒、除草、早熟等方面起到了积极作用, 进而提高了农产品的质量和产量[1]。覆膜种植技术给农业带来巨大经济效益的同时也产生了一些问题, 随着地膜使用年限的增长, 以及使用规模的不断扩大, 田地里的残留地膜得不到及时清理, 不仅造成了环境污染, 而且对农作物的生长产生了不良影响[2]。

数字图像处理是指利用计算机对图像进行加工处理的方法和技术[3]。随着计算机软硬件技术的不断进步, 图像处理技术已被广泛应用在农业领域, 如农业病虫害诊断识别、农作物生长状况监控和农产品质量无损检测和分级等[4]。有研究者把图像处理技术运用于地膜识别, 张航[5]以皮棉中的地膜为研究对象, 结合光谱分析、图像处理和机器学习技术对夹杂在棉花里的地膜进行了识别方法研究。由于实际混入棉花中地膜的复杂性及噪声数据对地膜特征数据的干扰等使得这种方法在图像采集分析等方面存在一定的局限性。哈斯图亚[6]分析地膜覆盖农田的遥感光谱反射特征、散射极化特征以及空间结构特征, 实现地膜覆盖的农田识别, 这种方法利用卫星采集遥感信息时效性较差, 不能实时更新。针对以上研究存在的问题和田间地膜、残膜自动视觉检测技术的薄弱现状, 本文提出了一种基于无人机的田间地膜识别算法, 为农业地膜图像自动识别技术的田间应用提供理论依据, 同时也为田间残膜的污染评估提供方法。

1 材料与方法
1.1 图像获取

2018年5月在贵州安顺平坝烟地采集6叶期烟苗烟田图像, 图像采集工具为配备数码相机的大疆无人机, 悬停精度垂直为± 0.1 m、水平为± 0.3 m, 飞行速度20 m· s-1, 可转动范围俯仰:-90° ~30° , 相机有效像素为2 000万。采集时间为上午11:01— 11:11, 无人机飞行高度分别为25、30、35、40、45、50 m, 每个飞行高度各拍摄20张图片, 共计120张图片, 拍摄条件如表1所示。采用MatlabR2016a作为烟田地膜图像处理和分析的软件平台; 硬件平台为PC机, Inter(R)Core(TM)i5-2400CPU/3.10GHz, 内存为8.00 GB。

表1 拍摄条件 Table 1 Shooting conditions
1.2 烟田地膜图像平滑处理

图像在采集、数字化、传输的过程中不可避免的会受到一定程度的噪声干扰, 而这些噪声会对图像质量产生影响[7]。为了改善图像质量, 从图像中提取有效信息, 必须对图像进行去噪预处理[8]。

通过比较几种滤波算法, 发现中值滤波算法简单、效率高, 处理椒盐噪声特别好, 而且在传输图像时, 外界影响和系统内部的介入会在一定程度上造成图像随机性噪音影响。借助中值滤波方式能够达到清理干预的效果, 其基本原理是把将要处理像素点的某个邻域内的所有像素按照灰度值的大小进行排列, 取排列的中值作为该像素点的新值, 进而让周围的像素接近真实值, 从而消除孤立的噪声点[9]。因此, 本论文采用中值滤波算法对采集的烟田图像进行滤波处理。

1.3 颜色特征算子确定

自然彩色图像的RGB色彩空间各个分量间存在很强的相关性, 当自然彩色图像的某个区域色彩发生变化, 其相应R、G、B分量的像素灰度值也同时发生变化[10]。在烟田环境中, 植物部分(烟苗、杂草、树木等)主要呈绿色, 土壤背景主要呈黄褐色, 薄膜主要呈白色(或黑色), 因此可以提取图像的RGB通道直方图进一步分析。由于RGB颜色空间中的3个分量与亮度相关, 亮度改变会导致3个分量同时改变, 稳定性差。为避免亮度改变所导致的不确定性, 采用HSV颜色空间模型[11, 12]进行对比分析。HSV颜色空间模型的3个分量是相互独立的, 面对光照变化表现得更稳健, 能更好地反映颜色的本质信息, 便于颜色的量化处理[13]。RGB和HSV通道直方图如图1所示。

图1 目标与背景的B分量及V分量直方图Fig.1 B and V component histograms of target and background

就本文而言, 烟苗和土壤皆为背景, 地膜为识别目标。通过比较目标和背景的RGB通道直方图发现, 对于R和G分量图像, 地膜与背景灰度值重合较多, 阈值很难分割出地膜, 但是B分量中虽然地膜和背景灰度值均有部分重合, 但灰度值大于155的像素点较多, 而土壤和烟苗灰度值则是小于155的像素点多, 如图1所示。通过比较目标和背景的HSV通道直方图发现, 对于H和S分量图像, 地膜与背景灰度值重合较多。V分量中地膜和背景灰度值重合较少, 地膜灰度值大于178的像素点较多, 而土壤和烟苗灰度值则是小于178的像素点多, 如图1所示。由此, B分量和V分量采用阈值分割法能分割出地膜, B分量分割阈值为155左右, V分量分割阈值为178左右。

2 图像不同分割算法比较
2.1 不同分割算法介绍

图像分割是指将图像分成各具特征的区域, 并且提取出感兴趣目标的一门技术。它是图像处理和图像分析的关键步骤之一, 只有在图像分割的基础上, 才能对目标物进行参数测量和特征提取, 使得更高层的图像理解和图像分析成为可能[14]。由于不同的分割算法对同一图像中目标的分割提取有不同的效果, 为了能够找到一种适用于烟田地膜图像中地膜的识别提取分割算法, 分别对烟田地膜图像进行不同分割算法比较, 这里的分割算法主要有手动阈值分割算法、迭代阈值分割算法、大律法分割算法、基于改进遗传算法的最大熵值法等, 其中手动阈值分割算法基本思想是设定一个阈值T, 灰度值大于T的部分归为目标, 标记为白色, 灰度值小于T的部分归为背景, 标记为黑色; 迭代阈值分割算法基本思想是开始选择一个阈值T(T/2=最大灰度值+最小灰度值)作为初始估计值, 按照一定规则不断更新该估计值, 直到前后两次阈值相差小于0.1为止; 大律法分割算法基本思想是将图像划分成两类, 计算每一个灰度级到两类的灰度方差和, 当类间方差达到最大时, 该灰度级为最佳阈值; 基于改进遗传算法的最大熵值法是在二维最大直方图熵法的基础上对遗传算法进行改进, 对选择、交叉、变异算子进行了优化设置, 以加快搜索过程的收敛性, 达到全局最优解。

由于整幅图像面积大、尺寸小, 不利于观察处理后效果, 因此本文截取部分图像进行分割研究。分别对截取部分图像的RGB和HSV 6个分量图像进行迭代阈值、手动阈值、大律法和最大熵值法分割, 其中基于B分量和V分量图像的分割效果较好, 如图2所示, 比较目视效果图发现:同种分割方法下B分量图像的分割效果较好; 基于B分量图像几种分割方法中, 迭代阈值法分割效果较优。因此, 本文针对B分量图像的分割效果图进行后续处理。

图2 不同分割方法效果比较Fig.2 Comparison of different segmentation methods

2.2 目标连通域标记

像素间的连通性是确定区域的一个重要概念, 本文采用的是一种基于递归方法的二值图像连通域像素标记算法[15], 目的是把二值图像中将互相邻接的目标像素集合提取出来, 并为图像中不同的连通域填入不等的数字标记[16]。分别对4种分割算法分割后图像进行连通域标定, 通过对二值图像的扫描和分析可得到二值图像中的连通域划分和连通域的数目。在二值图像中包含黑白两种颜色, 分别作为目标颜色和背景颜色, 本算法假设目标为白色, 背景为黑色, 标记算法只对目标像素进行标记。常用的连通性有4连通和8连通, 本文采用8连通算法对图像进行连通域标定。

2.3 不同分割算法识别结果分析

本文引入几个概念:实际地膜面积s1(裸露在地表的地膜面积), 实际地块面积s2, 地膜识别面积s3(图像处理过程中识别图像中的地膜面积), 烟苗遮盖地膜面积s4(烟苗破膜而出之后所遮挡的地膜面积), 地膜识别率k1, 识别地膜覆盖率k2, 实际地膜覆盖率k3, 以上几个概念之间的关系用以下3个公式(公式1、2、3)表示。通过实际测量得知这块地实际地膜面积s1为357.90 m2, 该块地实际面积s2为819.48 m2。

k1=s3÷ s1-s4; (1)

k2=s3÷ s2; (2)

k3=s1÷ s2。 (3)

分别对4种分割算法分割后图像进行连通域标定, 对标记完连通域的图像进行目标面积求和, 结果如表2所示。由于烟苗破膜而出, 无人机从高空拍摄时烟苗会对地膜造成遮挡, 为了对机器视觉、模型算法测得的地膜识别率进行精度分析, 首先利用无人机获取样方烟田图像, 并进一步计算得到地膜识别面积参考值, 本文采用Photoshop提供的魔棒工具, 通过目视解译、植被勾勒等方法获取图像中的地膜, 并计算得到地膜识别面积参考值为308.3 m2。通过比较4种分割方法的图像目标识别率, 发现迭代阈值分割算法图像目标识别率最高, 约为71%, 而且图像处理过程用时较短, 是一种理想的烟田地膜分割算法。

表2 不同分割算法识别结果 Table 2 Different segmentation algorithm recognition results
3 不同飞行高度下地膜识别情况

为了分析不同飞行高度下田间地膜的识别情况, 利用无人机拍摄不同飞行高度下同一块烟田, 飞行高度分别为25、30、35、40、45、50、51、52、53 m。当无人机飞行到50 m以上高空时, 出现抖动, 拍摄图像的稳定性降低, 因此本文采集地膜图像时, 无人机飞行高度均低于53 m。研究不同飞行高度下地膜识别情况时, 每间隔5 m高度取一张地膜图像, 50 m以上高度的图像稳定性差, 本文不做研究。由于不同飞行高度下拍摄的图片中包含的实际烟田面积不同, 飞行高度越高, 图片中烟田的实际面积越大, 因此为了得到准确的地膜识别率, 对拍摄图片裁剪, 取不同飞行高度下(25~50 m)同一地块地膜图像, 利用迭代阈值分割算法进行分割处理, 结果如表3所示, 可知无人机在50 m飞行高度下拍摄的图片地膜识别准确率最高, 为80.06%, 地膜覆盖率为30.12%。识别率发生变化是飞行高度和光照强度共同作用的结果, 由于采集图像的条件不是理想的试验条件, 光照强度不可控, 由表1和表3可知, 光照强度的变化趋势与识别率的变化趋势大致吻合, 但当飞行高度为50 m时, 光照强度的影响程度下降。后续会研究光照强度对地膜识别的影响, 当光照强度相差较大时, 可选择RGB分量相减来抵消光照的影响, 也可选择与光照无关的V分量图进行处理, 后续会接着研究。综上所述, 本文提出大疆精灵4无人机采集烟田地膜图像的理想条件是:微风(或无风), 光照均匀, 飞行高度为45~50 m, 采集时间为11:00— 15:00, 同时也要注意, 随着太阳光线入射角度的变化, 可能会出现烟垄遮挡地膜的现象(有部分地膜出现在阴影区, 不利于后续图像分割), 采集图像时要尽量避免这种情况。

表3 不同飞行高度识别结果 Table 3 Different flight height recognition results
4 结论

(1)通过对图像中地膜、烟苗和土壤的RGB和HSV分量直方图分析, 发现B分量和V分量中地膜与背景灰度值重合较少, 采用阈值分割法能有效分割出地膜。

(2)通过比较手动阈值分割、迭代阈值分割、大律法分割和基于改进遗传算法的最大熵值法4种分割算法的图像目标识别率, 发现迭代阈值算法分割图像目标识别率最高, 为71%, 且图像处理过程用时较短。

(3)通过对无人机不同飞行高度(25、30、35、40、45、50 m)下同一地块地膜图像处理, 发现处于50 m飞行高度时识别率最高, 为80.06%, 地膜识别面积为246.83 m2, 地膜覆盖率为30.12%。

The authors have declared that no competing interests exist.

参考文献
[1] 王浦舟, 吴雪梅, 张富贵, 等. 梳齿式自动仿形残膜捡拾机的设计及性能试验[J]. 中国烟草学报, 2017, 23(3): 56-62.
WANG P Z, WU X M, ZHANG F G, et al. Design and performance test of comb-type automatic profiling residual film collecting machine[J]. Acta Tabacaria Sinica, 2017, 23(3): 56-62. (in Chinese with English abstract) [本文引用:1]
[2] 李明洋, 马少辉. 我国残膜回收机研究现状及建议[J]. 农机化研究, 2014, 36(6): 242-245, 252.
LI M Y, MA S H. Present situation of research on plastic film residue collector in China and some suggestions[J]. Journal of Agricultural Mechanization Research, 2014, 36(6): 242-245, 252. (in Chinese with English abstract) [本文引用:1]
[3] 张会敏, 谢泽奇, 张善文, 等. 基于WT-Otsu算法的植物病害叶片图像分割方法[J]. 江苏农业科学, 2017, 45(18): 194-196.
ZHANG H M, XIE Z Q, ZHANG S W, et al. Image segmentation method for plant disease leaves based on WT-Otsu algorithm[J]. Jiangsu Agricultural Sciences, 2017, 45(18): 194-196. (in Chinese with English abstract) [本文引用:1]
[4] 路阳, 衣淑娟, 张勇, 等. 基于PCA和Whitening算法的水稻病害图像预处理研究[J]. 黑龙江八一农垦大学学报, 2017, 29(2): 97-101.
LU Y, YI S J, ZHANG Y, et al. Research of rice disease image preprocessing based on PCA and whitening algorithm[J]. Journal of Heilongjiang Bayi Agricultural University, 2017, 29(2): 97-101. (in Chinese with English abstract) [本文引用:1]
[5] 张航. 基于高光谱成像技术的皮棉中地膜识别方法研究[D]. 北京: 中国农业大学, 2016.
ZHANG H. Identification of plastic films in ginned cotton based on hyperspectral imaging technique[D]. Beijing: China Agricultural University, 2016. (in Chinese with English abstract) [本文引用:1]
[6] 哈斯图亚. 基于多源数据的地膜覆盖农田遥感识别研究[D]. 北京: 中国农业科学院, 2017.
HASITUYA. Mapping plastic-mulched farmland with multi-source remote sensing data[D]. Beijing: Chinese Academy of Agricultural Sciences, 2017. (in Chinese with English abstract) [本文引用:1]
[7] 裘友荣. 相对熵在图像去噪中的应用[J]. 遥感信息, 2018, 33(3): 124-129.
QIU Y R. Image denoising based on symmetric Kullback-Leibler divergence[J]. Remote Sensing Information, 2018, 33(3): 124-129. (in Chinese with English abstract) [本文引用:1]
[8] 张真真, 王建林. 结合第二代Band elet变换分块的字典学习图像去噪算法[J]. 计算机科学, 2018, 45(7): 264-270.
ZHANG Z Z, WANG J L. Dictionary learning image denoising algorithm combining second generation Band elet transform block[J]. Computer Science, 2018, 45(7): 264-270. (in Chinese with English abstract) [本文引用:1]
[9] 谭小刚, 张洪伟. 基于小尺度分形维数的裂缝图像分割方法[J]. 公路交通科技, 2018, 35(5): 34-39.
TAN X G, ZHANG H W. A crack image segmentation method based on small scale fractal dimension[J]. Journal of Highway and Transportation Research and Development, 2018, 35(5): 34-39. (in Chinese with English abstract) [本文引用:1]
[10] 李俊峰. 基于RGB色彩空间自然场景统计的无参考图像质量评价[J]. 自动化学报, 2015, 41(9): 1601-1615.
LI J F. No-reference image quality assessment based on natural scene statistics in RGB color space[J]. Acta Automatica Sinica, 2015, 41(9): 1601-1615. (in Chinese with English abstract) [本文引用:1]
[11] 陈祖刚, 巴图娜存, 徐芝英, 等. 基于数码相机的草地植被盖度测量方法对比研究[J]. 草业学报, 2014, 23(6): 20-27.
CHEN Z G, BATU N C, XU Z Y, et al. Measuring grassland vegetation cover using digital camera images[J]. Acta Prataculturae Sinica, 2014, 23(6): 20-27. (in Chinese with English abstract) [本文引用:1]
[12] 张永玲, 姜梦洲, 俞佩仕, 等. 基于多特征融合和稀疏表示的农业害虫图像识别方法[J]. 中国农业科学, 2018, 51(11): 2084-2093.
ZHANG Y L, JIANG M Z, YU P S, et al. Agricultural pest identification based on multi-feature fusion and sparse representation[J]. Scientia Agricultura Sinica, 2018, 51(11): 2084-2093. (in Chinese with English abstract) [本文引用:1]
[13] 彭志勇, 常发亮, 刘洪彬, 等. 基于HSV模型和特征点匹配的行人重识别算法[J]. 光电子·激光, 2015, 26(8): 1575-1582.
PENG Z Y, CHANG F L, LIU H B, et al. Person re-identification algorithm based on HSV model and keypoints matching[J]. Journal of Optoelectronics· Laser, 2015, 26(8): 1575-1582. (in Chinese with English abstract) [本文引用:1]
[14] 李长春, 都伟冰, 马潇潇, 等. 改进马尔可夫模型的SAR图像分割[J]. 遥感信息, 2017, 32(6): 85-89.
LI C C, DU W B, MA X X, et al. SAR image segmentation based on improved MRF model[J]. Remote Sensing Information, 2017, 32(6): 85-89. (in Chinese with English abstract) [本文引用:1]
[15] 徐正光, 鲍东来, 张利欣. 基于递归的二值图像连通域像素标记算法[J]. 计算机工程, 2006, 32(24): 186-188, 225.
XU Z G, BAO D L, ZHANG L X. Pixel labeled algorithm based on recursive method of connecting area in binary images[J]. Computer Engineering, 2006, 32(24): 186-188, 225. (in Chinese with English abstract) [本文引用:1]
[16] 甘玲, 林小晶. 基于连通域提取的车牌字符分割算法[J]. 计算机仿真, 2011, 28(4): 336-339.
GAN L, LIN X J. License plate character segmentation based on connected component extraction[J]. Computer Simulation, 2011, 28(4): 336-339. (in Chinese with English abstract) [本文引用:1]