粘虫板害虫自动识别计数研究
包晓敏, 盛家文
浙江理工大学 信息学院,浙江 杭州 310016

作者简介:包晓敏(1965—),女,浙江东阳人,硕士,教授,从事数字农业方面的研究工作。E-mail: 654353162@qq.com

摘要

针对人工统计黄色粘虫板上害虫数量费时费力的问题,在自适应去除粘虫板背景的基础上,融合颜色空间矩和图像几何形态,完成害虫特征的量化,采用加权决策的方法来识别害虫,构建害虫自动识别计数系统。以米蛾( Corcyra cephalonica)为例,经测试,该系统对黄色粘虫板上米蛾的识别结果与人工统计结果相对误差在7%,能够有效实现对粘虫板上害虫数量的自动统计。

关键词: 粘虫板; 机器视觉; 自动监测; 植物保护
中图分类号:S431.9 文献标志码:A 文章编号:1004-1524(2019)09-1516-07
Research on automatic identification and counting of insect pests on sticky board
BAO Xiaomin, SHENG Jiawen
School of Information Science and Technology, Zhejiang SCI-Tech University,Hangzhou 310016, China
Abstract

In order to solve the arduous and inaccurate problem of manual counting of insect pests in yellow sticky board, based on the adaptive removal of the sticky board background and fusion of color space moments and image geometry, the quantification of pest characteristics were realized, and identification was carried out by weighted decision. Thus, an automatic identification and counting system was constructed. Taking Corcyra cephalonica on yellow sticky board as test materials, it was shown that the relative error between the results of the proposed system and manual counting on sticky board was less than 7%, indicating the feasibility of the proposed system.

Keyword: sticky board; machine vision; automatic monitoring; plant protection

虫害是农业生产中的重要问题, 严重制约着我国现代农业发展。及时获悉田间害虫种类及数量, 不仅是有效制定害虫防治方案的基础, 更能为后期预测预报害虫爆发期提供原始数据。

害虫具有趋黄性, 在田间设置黄色粘虫板诱杀害虫的方法目前已被广泛使用[1]。粘虫板上害虫的计数方法主要分为2种:一种是人工计数; 一种是基于机器视觉的自动计数。前者费时费力且实时性差, 需要基层测报人员具有相关的理论知识; 而后者利用图像处理、模式识别等方法对害虫图像进行自动分析, 能够有效地识别害虫种类及数量, 排除了人为因素的干扰。传统的基于机器视觉的计数方法, 需要工作人员深入田间进行拍照, 然后将图片传送至计算机终端进行识别计数, 工作量大, 实时性差[2, 3]。姚仲敏等[4]设计了一种基于移动无线传感器网络的植株图像监测系统, 但该系统需要无人机作为传输节点, 成本较高; 曹旨昊等[5]设计了一种基于Android系统的粘虫板害虫计数系统, 然而该系统不能实时获取害虫图片。近年来, 深度学习技术在图像处理领域的表现愈加出色, 有学者将深度学习的方法引入到农作物的害虫识别中[6]。然而, 深度学习需要大量的样本才能获得较好的识别结果, 但在实际生产活动中往往无法获得大量的目标样本。为解决上述问题, 本文提出了一种基于树莓派的农业害虫测报系统。利用树莓派自动拍照并将图像上传至云服务器进行处理, 以Web网页作为客户端展现测报结果。许多昆虫诱捕试验都发现, 黄色粘虫板的诱捕效果最好[7, 8, 9]。为此, 本试验选择黄色粘虫板诱捕米蛾(Corcyra cephalonica), 并以此为例开展研究。针对拍摄的图片, 在进行背景去除的基础上, 提出一种基于颜色矩特征提取的方法, 提高计数结果的准确率。

1 材料与方法
1.1 系统架构

系统由数据采集端、测报云平台和客户端组成(图1)。数据采集端主要包括环境数据采集、害虫图片采集、数据及图片上传, 测报云平台主要包括云数据库(存储环境数据)、云对象存储服务器(存储害虫图片)和云服务器(处理图像), 客户端主要负责数据可视化和发送指令。数据采集以树莓派作为处理的核心, 将采集到的环境数据和害虫图片通过4G无线Wi-Fi模块以TCP协议的形式上传至测报云平台。图像上传至云对象存储服务器后展开计数, 并将计数结果存储至云数据库中, 用户通过浏览器访问网页, 以HTTP请求形式调用云数据库和云对象存储服务器中的数据查看信息, 同时可通过云服务器发送拍照、设定拍照时间等功能指令驱使树莓派获取环境值和图像。

图1 系统架构图Fig.1 System architecture diagram

1.1.1 数据采集端

数据采集端以树莓派3代B型开发板作为核心, 通过杜邦线连接温湿度传感器、光照强度检测模块和下雨检测模块, 通过USB接口连接4G无线上网卡, 通过CSI接口连接树莓派专用摄像头。主要功能及其实现简述如下:1)环境数据采集。树莓派驱动传感器模块采集温湿度、光照和降水情况。2)害虫图像采集。将树莓派置于距百叶箱(百叶箱置于户外, 靠近米蛾的培养中心)底部30 cm高的横梁上, 摄像头正对底部含有黑色诱芯(米蛾性诱剂诱芯)的黄色粘虫板, 树莓派驱动摄像头进行拍照。3)数据及图片上传。树莓派通过4G无线上网卡获取网络连接, 将环境数据和图片通过TCP协议上传到云平台, 并通过心跳机制保证TCP长期有效连接。

1.1.2 测报云平台

测报云平台包含云服务器、云数据库、云对象存储服务器3部分。云服务器是测报云平台的核心部分, 管理云数据库和云存储对象, 负责数据采集端的数据交互, 处理上传图片; 云数据库负责管理测报系统使用到的数据表; 云对象存储服务器用于存放终端上传的图像。测报云平台与数据采集端通过TCP连接。数据采集端先上传树莓派标识, 然后再上传环境数据, 并将其写入云数据库。上传过程中, 先上传图像名字, 后循环上传图像内容, 待图像内容上传完毕后, 存入云对象存储服务器。

1.1.3 客户端

客户端包括数据可视化和指令传输。数据可视化是指采集的环境数据和计数结果在网页上的呈现, 指令传输是指何时进行拍照计数和获取环境值, 整体功能如图2所示。

图2 客户端功能示意图Fig.2 Diagram of client functions

1.2 云平台图像处理及计数

图像上传至云对象存储服务器后, 进行图像预处理、图像分割、测报害虫特征提取和识别计数4个步骤。

1.2.1 图像预处理

针对图像中存在的黑色诱芯(图3-A), 采用最小二乘圆拟合获取疑似诱芯位置(图3-B)。

图3 图像预处理结果示意图
A、B、C分别是原始图片、最小二乘法拟合后图片、颜色过滤替换后图片。
Fig.3 Diagram of image preprocessing
A, B and C were the original picture, the picture after least square fitting and the picture after color filtering and replacement, respectively.

相对于RGB空间, HSV空间能够更直观地表达色彩的明暗、色调和鲜艳程度, 更具有稳定性。因此, 在完成最小二乘圆拟合检测后, 进行颜色过滤替换, 将图片从RBG空间过滤替换为HSV空间。定位黑色区域, 将其替换为背景板的颜色, 结果如图3-C所示。

1.2.2 图像分割

图像分割的实质是分割背景与前景, 为特征提取及过滤非靶标物质提供条件。图像分割方法大体可分为4类, 其中以基于聚类的方法最为常见[10]。由于本试验中的图片背景具有相对一致性, 因此采用基于HSV颜色空间的背景分割方法[11]。过程如下:1)空间转换, 将输入图像转换为HSV空间下的图像; 2)背景去除, 颜色过滤替换(以图像背景为模板进行过滤); 3)形态学操作, 包括二值化和高斯滤波。处理结果如图4所示。

图4 去背景结果示意图
A、B、C分别为空间转换、背景去除和形态学操作之后的图片。
Fig.4 Diagram of background removal
A, B and C were pictures after spatial transformation, background removal and morphological operation, respectively.

1.2.3 测报害虫特征提取

背景去除后, 在图像上遍历轮廓, 获取轮廓位置, 以最大外接矩形包围轮廓, 并在原图相应位置设置感兴趣区域(region of interest, ROI)。对于害虫来说, 其特征主要有颜色、形状和纹理。

在本试验条件下, 最简单直接的特征就是颜色特征, 而害虫图像的尺寸、方向、旋转等因素对鉴别害虫影响较小[12, 13, 14]。颜色的主要信息集中在一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)。其中, 一阶矩描述的是平均颜色, 二阶矩描述的是颜色方差, 三阶矩描述的是颜色的偏移性。颜色矩能够全面呈现图像的颜色分布特征。

μi=1Nj=1Npij; (1)σi=1Nj=1Npij-μi21/2; (2)δi=1Nj=1Npij-μi313(3)

式(1)~(3)中:pij表示第j个像素的第i个颜色分量; N为图中像素点的个数; i为颜色模型的分量, i=1表示R分量, i=2表示G分量, i=3表示B分量; μ iσ iδ i分别表示一、二、三阶矩。经过计算得到的部分一、二、三阶矩如表1所示。从表1的15组数据统计出待测害虫与干扰(主要是灰尘和其他非测报害虫)颜色矩的范围, 从而选定R分量的二阶矩、G分量的二阶矩, 以及B分量的一、二、三阶矩作为识别害虫的特征。

表1 待测害虫与干扰RGB模型颜色参数值 Table 1 Values of color parameters of forecast pests and disturbances in RGB model

为了提高识别的准确率, 将RGB图像转换到HSV颜色空间, 转换公式如下:

H=acos12R-C+R-B[R-G2+R-GG-B]1/2S=1-3R+G+BminR, G, BV=13R+G+B。 (4)

式(4)中:HSV为HSV颜色空间模型的HSV值; RGB分别为红、绿、蓝3分量像素值; min(R, G, B)为RGB分量中最小值。为了直观表示, 令

h=H2s=S×255v=V×255, (5)

式(5)中:hsv为变化后的HSV值。

表2μ σ z为待测害虫与干扰在HSV模型颜色参数的一、二阶矩和众数。

表2 待测害虫与干扰HSV模型颜色参数值 Table 2 Values of color parameters of forecast pests and disturbances in HSV model

综合表1表2的统计结果, 将RGB空间中B分量的一、二、三阶矩, 以及HSV空间中S分量的一阶矩和众数作为特征。

另外, 利用Matlab数学工具进行统计, 获得面积、周长特征的范围分别为51.6~89.6和43.7~95.3。

1.2.4 识别计数

特征提取的识别计数过程如图5所示。对选中的ROI进行特征计算, 然后依(6)式进行决策:

φ = 1, 落入当前特征范围-1, 未落入当前特征范围。 (6)

图5 特征提取的识别计数流程Fig.5 Flow chart of computation of selected features

根据(7)式获得最终识别结果:

W=δ φ +β φ +γ φ , (7)

式(7)中:δ β γ 分别为图片颜色特征、轮廓面积和轮廓周长的权重。经过多次测试, 取δ =0.4, β =0.3, γ =0.3。若W值大于0, 则表明该ROI区域是测报害虫。

识别结果如图6-A所示。可以看出, 图片中有粘连的情况。为解决此问题, 对面积较大的区域采用自适应分水岭方法进行局部分割, 分割后再对其进行上述操作, 结果如图6-B所示。

图6 识别结果示意图
A、B为初始识别结果和解决粘连问题后的识别结果。
Fig.6 Diagram of identification result
A and B were the identification result before and after solving adhesion.

1.3 识别效果判定

将获取的图像应用到害虫测报系统进行数量统计, 以人工计数作为对照, 用正确识别率(REFR, 单位%)评价害虫识别效果[15]

VREFR= 1-Nm-NaNm× 100, (8)

式(8)中:VREFR表示REFR的值; Nm表示人工识别的结果; Na表示图像自动识别的结果。

于每天不同时间段进行拍照计数, 随机选择不同天数进行害虫数目统计, 对比两种方法的效果。

2 结果与分析

如图7所示, 编号1~10的粘虫板上害虫数目较少, 编号11~20的粘虫板放置时间稍长, 害虫数目较多。可以看出, 人工计数与系统算出的个数接近。当害虫数目较少时, 系统计算结果准确率较高, 相对误差稳定在5%左右; 当害虫数目增多时, 系统计算结果的准确率略降, 相对误差也有所增加, 但仍保持在7%左右。可能原因之一是, 随着粘虫板放置时间的延长, 周围环境对粘虫板的影响越来越大, 导致计数的正确率下降。若能及时更换粘虫板, 是可以保证系统计数的准确率的。总的来看, 通过该系统是可以自动获取害虫发生的动态数据的。

图7 人工计数与系统计数结果对比Fig.7 Comparison of manual count and automatic count of proposed system

3 结论与讨论

传统的害虫计数方法需要将图像在计算机终端进行人工剪裁以去除无关背景。本文基于自适应方法去除粘虫板背景, 提出将颜色空间矩和图像几何形特征相结合的量化害虫特征的方法, 采用加权决策方法来识别害虫。所提方法具有普适性。然而, 当环境发生剧烈变化时, 如光照严重干扰图像时, 会导致本方法的计数精度下降。同时, 若害虫种类增加, 也需要另行选取合适的特征。下一步考虑采用基于深度学习的算法来应对环境更加复杂的情况。

经测试, 本系统自动计数与人工计数的误差在7%, 运行效果良好, 能够有效地实现对粘虫板害虫的自动计数, 提高了统计效率, 对于做好害虫测报及防护工作具有实际意义。

参考文献
[1] 盛忠雷, 邓敏, 李中林, . 四种有色粘板对茶园昆虫诱杀效果的比较[J]. 南方农机, 2019, 50(1): 8.
SHENG Z L, DENG M, LI Z L, et al. Comparison of trapping and killing effects of four colored sticky boards on insects in tea garden[J]. China Southern Agricultural Machinery, 2019, 50(1): 8. (in Chinese) [本文引用:1]
[2] 于志浩, 宋梁栋, 冯文涛, . 不同诱捕方式对黏虫的诱捕效果[J]. 中国植保导刊, 2018, 38(2): 39-42.
YU Z H, SONG L D, FENG W T, et al. The trapping effect of different trapping methods on sticky insects[J]. China Plant Protection, 2018, 38(2): 39-42. (in Chinese) [本文引用:1]
[3] ATA O W. An extended-AMATA indoor propagation model for GSM 900/1800 MHz and Wi-Fi 2. 4 GHz frequencies[J]. Wireless Personal Communications, 2017, 92(3): 993-1009. [本文引用:1]
[4] 姚仲敏, 荆宝刚, 孙彩苹. 基于移动无线传感器网络的植株图像监测系统设计与测试[J]. 农业工程学报, 2016, 32(11): 189-196.
YAO Z M, JING B G, SUN C P. Design and test of plant image monitoring system based on mobile wireless sensor network[J]. Transactions of the CSAE, 2016, 32(11): 189-196. (in Chinese with English abstract) [本文引用:1]
[5] 曹旨昊, 牟少敏, 孙肖肖, . 基于Android的粘虫板害虫计数系统研究与实现[J]. 河南农业科学, 2018, 47(10): 154-159.
CAO Z H, MU S M, SUN X X, et al. Research and implementation of sticky board pest counting system based on Android[J]. Journal of Henan Agricultural Sciences, 2018, 47(10): 154-159. (in Chinese with English abstract) [本文引用:1]
[6] 赵文君. 基于深度学习的储粮害虫图像识别与分类方法研究[D]. 郑州: 河南工业大学, 2018.
ZHAO W J. The classification of stored grain pests based on deep learning[D]. Zhengzhou: Henan University of Technology, 2018. (in Chinese with English abstract) [本文引用:1]
[7] 王建军, 栾庆书, 王敬贤, . 3种颜色粘虫板对五加肖个木虱诱捕效果[J]. 辽宁林业科技, 2018(5): 12-14.
WANG J J, LUAN Q S, WANG J X, et al. Trapping effects of three different corlour sticky cards to Triozidus acanthopanaicis[J]. Liaoning Forestry Science and Technology, 2018(5): 12-14. (in Chinese with English abstract) [本文引用:1]
[8] 杜浩, 高旭辉, 刘坤, . 不同颜色色板对梨园昆虫的诱集效应[J]. 植物保护, 2019, 45(2): 188-192.
DU H, GAO X H, LIU K, et al. Trapping effect of sticky traps in different colors on insects in pear orchards[J]. Plant Protection, 2019, 45(2): 188-192. (in Chinese with English abstract) [本文引用:1]
[9] 戴建青, 陈大嵩, 叶静文, . 珠江三角洲小菜蛾区域性引诱剂的研制及诱集效应研究[J]. 环境昆虫学报, 2016, 38(6): 1245-1250.
DAI J Q, CHEN D S, YE J W, et al. Development of regional attractants for diamondback moth, Plutella xylostella (Lepidoptera: Plutellidae) based on sex pheromones and its application in Pearl River Delta[J]. Journal of Environmental Entomology, 2016, 38(6): 1245-1250. (in Chinese with English abstract) [本文引用:1]
[10] 周莉莉, 姜枫. 图像分割方法综述研究[J]. 计算机应用研究, 2017, 34(7): 1921-1928.
ZHOU L L, JIANG F. Survey on image segmentation methods[J]. Application Research of Computers, 2017, 34(7): 1921-1928. (in Chinese with English abstract) [本文引用:1]
[11] YOON I, KIM S, KIM D, et al. Adaptive defogging with color correction in the HSV color space for consumer surveillance system[J]. IEEE Transactions on Consumer Electronics, 2012, 58(1): 111-116. [本文引用:1]
[12] 韩丁, 武佩, 张强, . 基于颜色矩的典型草原牧草特征提取与图像识别[J]. 农业工程学报, 2016, 32(23): 168-175.
HAN D, WU P, ZHANG Q, et al. Feature extraction and image recognition of typical grassland forage based on color moment[J]. Transactions of the CSAE, 2016, 32(23): 168-175. (in Chinese with English abstract) [本文引用:1]
[13] 王志彬, 王开义, 张水发, . 基于K-means聚类和椭圆拟合方法的白粉虱计数算法[J]. 农业工程学报, 2014, 30(1): 105-112.
WANG Z B, WANG K Y, ZHANG S F, et al. Whiteflies counting with K-means clustering and ellipse fitting[J]. Transactions of the CSAE, 2014, 30(1): 105-112. (in Chinese with English abstract) [本文引用:1]
[14] KIM J, CHO W, CHUNG C. Assessment of deformation during consolidation using digital image analysis[J]. Japanese Geotechnical Society Special Publication, 2016, 4(3): 49-53. [本文引用:1]
[15] 陈梅香, 郭继英, 许建平, . 梨小食心虫自动监测识别计数系统研制[J]. 环境昆虫学报, 2018, 40(5): 1164-1174.
CHEN M X, GUO J Y, XU J P, et al. Research of automatic monitoring device and counting system for Grapholita molesta(Busck)[J]. Journal of Environmental Entomology, 2018, 40(5): 1164-1174. (in Chinese with English abstract) [本文引用:1]