基于叶片图像算法的植物种类识别方法研究
毕立恒
黄河水利职业技术学院,河南 开封 475004

作者简介:毕立恒(1973—),男,河南信阳人,硕士,讲师,主要从事嵌入式系统、数字信号处理研究。E-mail:3065991303@qq.com

摘要

为了提高植物种类的识别率,采用叶片图像算法。首先建立植物种类特征模型,包括植物叶片颜色特征、形状特征、纹理特征;然后确定径向基函数神经网络的输入层、输出层、隐含层之间的关系;接着对径向基函数个数、中心及宽度优化,基于梯度下降方法对权重参数计算,自适应调节学习率;最后给出了植物种类识别过程。实验仿真选择植物叶片颜色特征、形状特征、纹理特征的特征量分别为6、7、7个,其中本文算法对植物种类识别的三个组合特征平均识别率为93.5%,高于单个特征、两个组合特征的平均识别率,形状特征对识别率所起的作用最大。

关键词: 叶片; 植物种类; 径向基函数; 图像算法
中图分类号:TP391.4 文献标志码:A 文章编号:1004-1524(2017)12-2142-07 doi: 10.3969/j.issn.1004-1524.2017.12.25
Plant species recognition based on leaf image algorithm
BI Liheng
Yellow River Conservancy Technical Institute, Kaifeng 475004, China
Abstract

In order to improve the recognition rate of plant species, leaf image algorithm was proposed. Firstly, the plant species characteristic model was established, including leaf color, shape and texture characteristics. Secondly, relations of input, output and hidden layer of radial basis function neural network was built. Thirdly, the numbers of radial function, center and width was optimized, weighting parameter was calculated based on gradient descent method, and learning rate was adaptively adjusted. Finally, plant species recognition process was given. Plant leaf color, shape and texture characteristic numbers of simulation were selected as 6, 7 and 7, the three characteristics average recognition rate of improved radial basis function neural network algorithm was 93.5%, higher than single and two characteristics, the shape characteristic had maximum recognition rate.

Keyword: leaves; plant species; radial basis functions; image algorithm

植物种类识别一般是通过对植物的外部形态描述得以实现, 各种植物叶片的纹理、颜色和形状结构具有差异性, 同时植物叶片一年四季变化不大, 比较容易采集, 因此利用叶片通过人工智能方法进行植物种类识别是一种简单而有效的方法[1], 对植物可进行方便的管理和保护。

传统人工识别结果受主观性影响比较大, 正确识别率较低, 目前智能算法主要有:Guyer等[2]提取了17种叶片形状特征, 并对40类植物进行分类; Oide等[3]将叶片形状作为神经网络的输入, 使用Hopfield网络和感知器对大豆叶片进行分类; Soderkvist[4]使用叶片的几何特征, 采用BP前馈神经网络对15种瑞典树木进行分类, 最终形成Swedish叶片标准测试数据集; Backes等[5]利用复杂网络算法分析叶片特征并进行识别, 可对不同分辨率以及一定采样噪声的叶片图像识别, 有很好的效果; Ghazi等[6]利用PCANet算法在扫描叶片图像上取得了90.49%的识别率, 但是普通叶片图像识别率比较低; 朱静等[7]通过叶片图像的形状和叶缘特征, 对14种植物337份叶片样本的叶形测试准确率达92%; Munisami等[8]采用基于特征的神经网络分类器对植物叶片识别, 包括矩形、圆度、偏心率等; Lee等[9]提出了基于叶片轮廓质心的植物叶片识别系统, 使用4种基本几何特征和5个静脉特征。

为了提高植物种类的识别率, 采用改进径向基函数神经网络(improved radial basis function neural network, IRBFNN)算法。首先建立植物种类特征模型, 包括植物叶片颜色特征、形状特征、纹理特征; 然后确定径向基函数神经网络的输入层、输出层、隐含层之间的关系; 接着对径向基函数个数、中心及宽度优化, 基于梯度下降方法对权重参数计算, 自适应调节学习率; 最后给出了植物种类识别过程。实验仿真选择植物叶片颜色特征、形状特征、纹理特征的特征量分别为6、7、7个, 其中本文算法对植物种类识别的3个组合特征平均识别率为93.5%, 高于单个特征、两个组合特征的平均识别率, 形状特征对识别率所起的作用最大。

1 植物种类特征
1.1 植物叶片颜色特征

颜色信息集中分布在一阶颜色矩、二阶颜色矩和三阶颜色矩上[10], 通过低阶颜色矩分别描述颜色的平均值、方差和斜度:

M1=1Nl=1Nqkl

M2=1Nl=1N(qkl-M1)212

M3=1Nl=1N(qkl-M1)313

其中:M1M2M3分别表示一、二、三阶颜色矩; qkl表示第k个颜色通道中灰度为l的像素值出现的概率; N表示图像中像素值总个数。由于HSI颜色模型中, 只有H和S分量中包含颜色信息, 因此提取H和S颜色分量图像的一、二、三阶颜色矩作为叶片图像的颜色特征, 则叶片图像的颜色特征M= M1H, M2H, M3H, M1S, M2S, M3S

1.2 形状特征

形状特征是叶片的主要特征[11], 主要罗列如下:

纵横轴比:α 1= LH

其中LH为叶片外接矩形的长与宽。

矩形度α 2= sL×H

其中:s为叶片区域面积; L× H为叶片外接矩形的面积。

球形性比α 3= r1r2

其中r1r2分别为叶片内切圆半径与外接圆半径。

圆形度α 4= d1d2

其中:d1为边界各点到叶片区域重心的平均距离; d2为边界各点到叶片区域重心的均方差。

形状参数α 5= sd32

其中 d32为叶片周长d3的平方值。

周径比α 6= d3lmax

其中lmax为叶片主脉长度最大值。

叶状性α 7= lminl

其中:l为叶片短轴长度值; lmin为重心到边界的最短距离。

1.3 纹理特征

1.3.1 分形特征

叶片图像的纹理主要由叶片角质层的固有纹理和叶脉纹理构成, 同时主叶脉和延伸的叶脉组成具有一定自相似性的网状结构, 符合分形特征[12], 主要采用自相似性特征以及缝隙量两个特征。

描述对象不规则度的自相似性特征:

f1=kr2-Fλ 2-F

其中:k为常数; r为尺度; F为分形维数; 2-F为分形表面积。

描述纹理的疏密程度的缝隙量:

f2=E (M/E(M)-1)2

其中:M为分形体质量; E(M)为期望值。

1.3.2 基于灰度共生矩阵的特征

在进行植物叶片分析和处理过程中, 纹理特征也是重要特征之一[13], 利用灰度共生矩阵的统计特性生成0° 、45° 、90° 、135° 四个方向的共生矩阵, 分别计算四个方向的特征如下。

同质性T1平均值:

T1=i=0L-1j=0L-1p(i, j)(1+i-j)

其中:i、j为灰度值; p(i, j)为灰度值(i, j)同时出现的概率; L为灰度等级。

对比度T2平均值:

T2=i=0L-1j=0L-1i-j2p(i, j)

能量T3平均值:

T3=i=0L-1j=0L-1p2(i, j)

相关性T4平均值:

T4=i=0L-1j=0L-1ijp(i, j)-u1u2σ1σ2

其中: u1=i=0L-1ij=0L-1p(i, j); u2=j=0L-1ji=0L-1p(i, j); σ1=i=0L-1(i-u1)2j=0L-1p(i, j); σy=j=0L-1(j-u2)2i=0L-1p(i, j)

则叶片图像的纹理特征可表示为:

T=T̅1, T̅2, T̅3, T̅4

1.3.3 静脉特征

静脉特征v1主要通过叶片灰度图像进行形态学运算[14-15]

v1= A1A

其中:A为叶片上的总像素数; A1为叶片上的静脉像素总数。

2 改进径向基函数神经网络算法
2.1 径向基函数神经网络

径向基函数(radial basis function, RBF)神经网络在逼近能力和学习速度等方面都优于BP神经网络[16]。输入层是用来接受数据的, 隐含层是一个非线性函数, 对输入数据进行建模, 输出层作为数据的输出。

假设输入向量为X= x1, x2, , xn(n为输入层单元个数), 输出向量为Y= y1, y2, , yqT(q为输出层单元个数), 期望输出向量为O= o1, o2, , oqT, 隐含层至输出层的连接权值Wk= wk1, wk2, , wkpT(k=1, 2, …, q)。

隐含层中最常用的函数是高斯函数, 隐含层第j个神经元的输出值zj为:

zj=exp (- X-CjDj)。

其中:j=1, 2, …, p; CjDj是隐含层第j个径向基函数中心向量、宽度, DjCj对应, Dj越大, 隐含层对输入向量的响应范围就越大, 且神经元间的平滑度也较好; ·为范数, 表示XCj的欧拉距离。

输出层神经元的输出公式为:

yk=j=1pwkjzj

其中:wkj为输出层第k个神经元与隐含层第j个神经元之间的调节权重。

2.2 改进模型

2.2.1 径向基函数个数、中心及宽度初始化方法

改进径向基函数神经网络(improved radial basis function neural network, IRBFNN)算法, 隐含层结点数少量冗余能够提高RBF的泛化能力[17], 通过聚类方法求得隐结点基数, 适当增加冗余, 得到最佳隐结点数。设M为隐结点数; J为样本原始聚类数; β 为冗余系数, 则:M=(1J

其中:β 一般取值范围为[0, 0.5], 本文取值0.35。

为提高RBF训练速度, 参数CjDj需要初始化。

Cj为: Cj=cj1, cj2, , cjnTcji=mini+maxi-mini2p+(j-1)maxi-minip

其中:j=1, 2, …, p; mini为训练集中第i个特征所有输入信息的最小值; p为隐含层神经元总个数; maxi为训练集中第i个特征所有输入信息的最大值。

类内样本分散度大或类间距大, 径向基函数的宽度取大些, Dj为:

Dj=dj1, dj2, , djnTdji=ε·1Nk-1N(xik-cji)

其中: ε 为宽度调节系数, 本文取值0.65。

2.2.2 基于梯度下降方法的权重参数计算

IRBFNN权重参数的训练方法本文取为梯度下降法。迭代过程为:

wkj(t)=wkj(t-1) Ewkj(t-1)+a[wkj(t-1)-wkj(t-2)]cji(t)=cji(t-1) Ecji(t-1)+a[cji(t-1)-cji(t-2)]。

其中:wkj(t)为第k个输出神经元与第j个隐含层神经元之间在第t次迭代计算时的调节权重; cji(t)为第j个隐含层神经元对应于第i个输入神经元在第t次迭代计算时的中心分量; η 为学习率; E为IRBFNN评价函数。

E=12l=1Nk=1q(ylk-olk)2

其中:olk为第k个输出神经元在第l个输入样本时的期望输出值; ylk为第k个输出神经元在第l个输入样本时的网络输出值。

将当前迭代误差和上一次迭代误差相比[18], 若误差变化量是负数, 则认为迭代结果趋近于极小点, 为了提高收敛速度可增加学习率, 若误差变化量是整数, 同时值较大, 则认为迭代结果偏离极小点, 需减小学习率η :

η (t+1)= 1.05η(t) E(t+1)< E(t)0.7η(t)E(t+1)> 10.4E(t)η(t)else

2.2.3 训练样本初始化方法

对于给定的输入数据, 只有一小部分靠近的中心值被激活。因此, 为了提高模型的计算性, 在训练之前先将训练样本的数据进行归一化处理:

x'n= xnxnmax

式中:xnmax为输入样本中第n个节点中的最大值; xn'xn归一化后的输入向量。

2.3 植物种类识别过程

①初始化IRBFNN参数, 输入植物叶片训练样本;

②IRBFNN训练, 获得参数;

③对权值、学习率进行调整;

④计算IRBFNN评价函数, 达到E=0.05的要求或满足训练次数, 训练结束, 进行步骤⑤; 否则进行步骤②;

⑤将测试数据传输至训练完成的IRBFNN模型中进行植物种类识别, 输出的即为植物种类识别数据。

3 实验仿真

实验配置如下:CPU:Intel Core i5-3470, 操作系统:Windows 64位, 内存:8 G, 开发工具:Matlab7.0。利用数码相机通过自然场景有针对性地采集了10种观叶植物叶片图像, 每种植物叶片要求没有明显斑点且叶片大小完整, 每种植物图像85幅左右, 统一保存为bmp格式、300× 300分辨率的叶片图像, 并将每种叶片中总样本图像的1/3作为训练样本, 其余作为测试样本。

3.1 叶片样本数据构建

植物叶片主要有:桂花叶片、木瓜叶片、银杏叶片、红枫叶片、冬青叶片、秃瓣杜英叶片、夹竹桃叶片、东京樱花叶片、龙牙花叶片和含笑叶片, 各种叶片的典型特征如图1所示。

图1 各种叶片的典型特征
a, 桂花叶片; b, 木瓜叶片; c, 银杏叶片; d, 红枫叶片; e, 冬青叶片; f, 秃瓣杜英叶片; h, 夹竹桃叶片; i, 东京樱花叶片; j, 龙牙花叶片; k, 含笑叶片
Fig.1 Typical features of various leaves
a, Fragrans; b, Papaya; c, Ginkgo; d, Acer palmatum; e, Holly; f, Elaeocarpus decipiens; h, Nerium oleander; i, Sakura; j, Erythrina corallodendron; k, Michelia figo

每种植物叶片数据如下:桂花叶片90幅、木瓜叶片90幅、银杏叶片90幅、红枫叶片85幅、冬青叶片85幅、秃瓣杜英叶片85幅、夹竹桃叶片85幅、东京樱花叶片90幅、龙牙花叶片90幅和含笑叶片85幅。 在对叶片图像进行相关预处理后, 通过6个颜色特征、7个形状特征、7个纹理特征参数构成叶片图像的多特征。

图2 不同算法的对单个特征平均识别率Fig.2 Average recognition rate of different algorithms with single characteristic

3.2 识别结果

IRBFNN输入节点数为 26, 输出节点数为 20, 隐含层节点数为30, 每种算法进行30次实验, 算法包括Guyer、Soderkvist、Backes、Ghaz、Trishen、Lee、IRBFNN。图2为30次实验不同算法对单个特征的平均识别率, 分别为颜色特征、形状特征、纹理特征的平均识别率; 图3为30次实验不同算法的对两个组合特征平均识别率, 分别为颜色与形状特征、颜色与纹理特征、形状与纹理特征的平均识别率, 图4为30次实验不同算法的对三个组合特征平均识别率, 即颜色、形状与纹理特征的平均识别率。

图3 不同算法的对两个组合特征平均识别率Fig.3 Average recognition rate of different algorithms with two characteristics

图4 不同算法的对三个组合特征平均识别率Fig.4 Average recognition rate of different algorithms with three characteristics

由图2可知, 仅用植物叶片单个特征识别植物种类, 单个特征的平均识别率都比较低, 特别是颜色特征最低, 为70%以下, 虽然形状特征、纹理特征的特征量相同, 都是7个, 但是形状特征对识别率贡献较大, 本文算法可达88%, 以后研究可减少颜色特征数量, 增加形状、纹理特征数量; 由图3可知, 两个组合特征的平均识别率, 形状与纹理组合特征平均识别率高于颜色与形状组合特征、颜色与纹理组合特征, 同时两个组合特征的平均识别率高于单个特征, 这是因为每种植物叶子形状、纹理具有单一性特点, 组合起来避免了数据重复性, 因此可作为识别的重要特征; 由图4可知, 三个组合特征平均识别率高于单个特征、两个组合特征, 本文提出的IRBFNN算法的平均识别率最高, 这是因为IRBFNN算法对隐结点数、权重、学习率进行了调整, 克服了NN神经网络参数难于设置的问题, 提高了植物种类识别率。

4 总结

本文算法对径向基函数个数、权重、学习率进行了调整, 使得IRBFNN算法对植物种类的平均识别率较高, 实验仿真显示本文算法对植物种类的三个组合特征平均识别率高于单个特征、两个组合特征, 形状特征对识别率贡献最大, 因此以后研究可增加植物叶片形状特征的数量, 对提高植物种类识别率会有一定的帮助。

(责任编辑 张 韵)

The authors have declared that no competing interests exist.

参考文献
[1] 恩德, 忽胜强. 基于集成神经网络的植物叶片识别方法[J]. 浙江农业学报, 2015, 27(12): 2225-2233.
EN D, HU S Q. Plant leaf recognition based on artificial neural network ensemble[J]. Acta Agriculturae Zhejiangensis, 2015, 27(12): 2225-2233. (in Chinese with English abstract) [本文引用:1]
[2] GUYER D E, MILES G E. Application of machine to shape analysis in leaf and plant identification[J]. Transactions of the ASAE, 1993, 36(1): 163-171. [本文引用:1]
[3] OIDE M, NINOMIYA S, MURASE H. Discrimination of soybean leaflet shape by neural networks with image input[J]. Computers and Electronics in Agriculture, 2000, 29(2): 59-72. [本文引用:1]
[4] SÖDERKVIST O. Computer vision classification of leaves from swedish trees[J]. Teknik Och Teknologier, 2010, 33(3): 202-206. [本文引用:1]
[5] BACKES A R, CASANOVA D, BRUNO O M. A complex network-based approach for boundary shape analysis[J]. Pattern Recognition, 2009, 42(1): 54-67. [本文引用:1]
[6] GHAZI M M, YANIKOGLU B, APTOULA E, et al. Sabanci-Okan system in LifeCLEF 2015 plant identification competition[C]. Conference and Labs of the Evaluation forum, 2015: 697-705. [本文引用:1]
[7] 朱静, 田兴军, 陈彬, . 植物叶形的计算机识别系统[J]. 植物学通报, 2005, 22(5): 599-604.
ZHU J, TIAN X J, CHEN B, et al. Computer recognition system of plant leaf-shape[J]. Chinese Bulletin of Botany, 2005, 22(5): 599-604. (in Chinese with English abstract) [本文引用:1]
[8] MUNISAMI T, RAMSURN M, KISHNAH S, et al. Plant leaf recognition using shape features and colour histogram with K-nearest neighbour classifiers[J]. Procedia Computer Science, 2015, 58: 740-747. [本文引用:1]
[9] LEE K B, CHUNG K W, HONG K S. An implementation of leaf recognition system based on leaf contour and centroid for plant classification[J]. Springer Netherland s, 2013, 214: 109-116. [本文引用:1]
[10] 丁娇. 基于流形学习算法的植物叶片图像识别方法研究[D]. 合肥: 安徽大学, 2014: 38-39.
DING J. Research on image recognition method of plant blade based on manifold learning algorithm[D]. Hefei: Anhui University, 2014: 38-39. (in Chinese with English abstract) [本文引用:1]
[11] 王丽君, 淮永建, 彭月橙. 基于叶片图像多特征融合的观叶植物种类识别[J]. 北京林业大学学报 , 2015, 37(1): 55-61.
WANG L J, HUAI Y J, PENG Y C. Method of identification of foliage from plants based on extraction of multiple features of leaf images[J]. Journal of Beijing Forestry University, 2015, 37(1): 55-61. (in Chinese with English abstract) [本文引用:1]
[12] 张宁, 刘文萍. 基于克隆选择算法和K近邻的植物叶片识别方法[J]. 计算机应用, 2013, 33(7): 2009-2013.
ZHANG N, LIU W P. Plant leaf recognition method based on clonal selection algorithm and K-nearest neighbor[J]. Journal of Computer Applications, 2013, 33(7): 2009-2013. (in Chinese with English abstract) [本文引用:1]
[13] 张芳, 李晓辉, 杨洪伟. 复杂背景下植物叶片病害的图像特征提取与识别技术研究[J]. 辽宁大学学报(自然科学版), 2016, 43(4): 311-318.
ZHANG F, LI X H, YANG H W. Image feature extraction and recognition of plant leaf disease in complex background[J]. Journal of Liaoning University( Natural Science Edition), 2016, 43(4): 311-318. (in Chinese with English abstract) [本文引用:1]
[14] CRAVIOTTO R M, ARANGO M R, GALLO C, et al. Automatic classification of legumes using leaf vein image features[J]. Pattern Recognition, 2014, 47(1): 158-168. [本文引用:1]
[15] KULKARN A H, RAI H M, JAHAGIRDAR D K A, et al. A leaf recognition technique for plant classification using rbpnn and zernike moments[J]. Journal of Computer-Mediated Communication, 2013, 2(1): 984-988. [本文引用:1]
[16] 阚江明, 王怡萱, 杨晓微, . 基于叶片图像的植物识别方法[J]. 科技导报, 2010, 28(23): 81-85.
KAN J M, WANG Y X, YANG X W, et al. Plant recognition method based on leaf images[J]. Science & Technology Review, 2010, 28(23): 81-85. (in Chinese with English abstract) [本文引用:1]
[17] 梁斌梅, 韦琳娜. 改进的径向基函数神经网络预测模型[J]. 计算机仿真, 2009, 26(11): 191-194.
LIANG B M, WEI L N. An improved prediction model based on radial basis function neural network[J]. Computer Simulation, 2009, 26(11): 191-194. (in Chinese with English abstract) [本文引用:1]
[18] 张景璐, 赵妍. 基于改进神经网络的光纤故障监测优化[J]. 激光杂志, 2016, 37(6): 131-134.
ZHANG J l, ZHAO Y. Fiber optic fault monitoring and optimization based on the improved neural network[J]. Laser Journal, 2016, 37(6): 131-134. (in Chinese with English abstract) [本文引用:1]