摘要
嫁接有利于增强树体对生物及非生物胁迫的适应能力,提高葡萄产量和品质。葡萄砧木品种多样复杂,识别难度较大,深度学习能够快速提取图像的深层特征,被广泛应用于植物图像分类识别领域。本研究以30份葡萄砧木成龄叶图像作为研究对象,通过采集叶片图像,构建了一个包含13547张的葡萄砧木叶片图像的数据集。采用GoogleNet、ResNet-50、ResNet-101以及VGG-16等4个卷积神经网络对其进行自动识别。结果表明:精度最高的分类网络为ResNet-101,在最优模型参数(学习率:0.005,最小批次:32,迭代次数:50)下精度达到97.5%。ResNet-101模型检测的30个品种中,平均预测精确率为92.59%,有7个品种的预测精确率达到100%;平均召回率为91.08%,有8个品种的召回率达到100%,叶片的叶面纹理、叶脉以及叶缘部分对品种识别的影响最大。以上结果证实,深度学习网络模型可以实现对葡萄砧木的自动实时识别,为葡萄砧木品种的保护、利用、分类研究以及其他农作物的品种识别提供参考。
在葡萄栽培中,砧木可以提高对葡萄根瘤
在植物品种的识别研究中,叶片比其他器官更容易采集,也更稳
本研究以国内外常见的葡萄砧木为试验材料,采用4种卷积神经网络对葡萄砧木品种叶片进行自动识别,并进一步评价了各个模型的识别效率,为葡萄砧木品种的分类、保护、利用研究以及其他农作物的品种识别提供科学参考。
叶片图像在中国农业科学院郑州果树研究所的国家葡萄种质资源圃(郑州)拍摄。圃地年平均气温14.2 ℃,年平均降水量666.0 mm,年平均日照时数2436 h,无霜期213 d。土壤为褐色土类,质地为沙壤土,土壤pH值7.1~7.5,呈微碱性。采用单干双臂树形,架高1.8 m,行株距2.5 m×1.0 m,南北行向,圃地管理水平中等。在本研究中,数据集包含了30个砧木品种(

图1 30个葡萄砧木品种叶片图像
Fig.1 Leaf images of 30 grape rootstock varieties
A:砧木叶片图像数量;B砧木品种叶片样图
A :Number of rootstock leaf images; B:Leaf samples of rootstock varieties
采用图像数据增强技术和几何变化技术进行图像预处理,从原始输入图像中自动获得增强的局部化图像特征,提高品种识别性能。图像数据增强技术具有通用性和高效性,可以有效地训练深度学习模型,进行亮度、饱和度、对比度等图像处理,模拟不同光照条件下叶片图像。应用缩放、旋转、固定裁剪等几何变化技术扩展图像数据集。预处理后的图像数据集按照7∶2∶1比例将每一品种的图像划分为训练集、测试集和验证
在深度学习领域,卷积神经网络是最常用的算法。卷积神经网络主要由输入层、卷积层、池化层、全连接层和输出层组成。卷积层由一组卷积滤波器组成,将输入图像与这些滤波器进行卷积,生成输出特征图。池化层的主要任务是通过卷积运算对特征图进行二次采样。随后,将全连接层用作CNN分类器。最后从输出层进行最终分
本研究选择GoogleNet、ResNet-50、ResNet-101以及VGG-16四个卷积神经网络模型对砧木叶片数据集进行训练验
对于深度学习分类任务常用的评价指标有:精度(A, accuracy)、损失值(L,LOSS)精确率(P,precision)、召回率(R,recall) 以及F1值。
(1) |
(2) |
(3) |
(4) |
(5) |
式中,TP代表预测为正确且实际正确的样本数;FP代表预测为正确但实际错误的样本数;FN代表预测为错误但实际正确的样本数;TN代表预测为错误且实际错误的样本数;M代表类别的数量;yic代表样本i的真实品种为c取1,否则取0;pic代表样本i属于品种c的概率。
卷积神经网络的特征学习是一个抽象的过程,为了解砧木叶片样本的特征学习情况,利用梯度加权类别激活映射(Grad-CAM, gradient-weighted class activation map)技
为了对所有的卷积神经网络进行公平比较,对实验参数进行标准化。得到了不同卷积神经网络结构的分类结果,包括VGG-16、ResNet-101、ResNet-50和GoogleNet。分类模型的准确率见
分类模型 Classification models | 迭代次数 Max epochs | 学习率 Learning rate | 最小批次 Mini-batch size | 精度(%) Accuracy |
---|---|---|---|---|
VGG-16 | 50 | 0.001 | 32 | 93.13 |
GoogleNet | 50 | 0.001 | 32 | 87.96 |
ResNet-50 | 50 | 0.001 | 32 | 92.55 |
ResNet-101 | 50 | 0.001 | 32 | 95.41 |
选择ResNet-101作为分类模型,测试不同训练参数对分类性能的影响。在保持其他参数不变的情况下,设置3个实验T1、T2和T3,学习率分别为0.001、0.005和0.01。结果表明,当学习率为0.005时,分类性能达到最佳。
在合理的范围内增加最小批次可以提高内存的利用率,提高训练速度。对于大规模训练,在相同的迭代次数下必须确保使用更大的批处理训练获得与较小的批处理相似的测试精度。在保持学习率为0.005,其他参数不变的情况下,设置了3个实验T2、T4和T5,其中最小批次分别为16、32和64。
实验 Test | 学习率 Learning rate | 最小批次 Mini-batch size | 迭代次数 Max epochs | 精度(%) Accuracy |
---|---|---|---|---|
T1 | 0.001 | 32 | 50 | 95.41 |
T2 | 0.005 | 32 | 50 | 97.50 |
T3 | 0.010 | 32 | 50 | 96.29 |
T4 | 0.005 | 16 | 50 | 96.25 |
T5 | 0.005 | 64 | 50 | 96.42 |
T6 | 0.005 | 32 | 30 | 97.45 |
T7 | 0.005 | 32 | 80 | 97.12 |
迭代次数也是影响模型学习进度的重要因素。在其他参数不变的情况下,设置3个实验T2、T6和T7,迭代次数分别为30、50、80。
因此,ResNet-101分类模型的优化参数为学习率0.005,最小批次为32,迭代次数为50,其模型分类精度高达97.50%。
损失函数(LOSS function)是反应预测结果与实际结果之间的差异的函数,差异越小,模型性能越好。T2实验参数下4个模型网络训练的LOSS变化曲线如

图2 训练LOSS变化曲线
Fig.2 Training LOSS change curve
由

图3 分类精度变化曲线
Fig.3 Classification accuracy change curve
如

图4 ResNet-101、ResNet-50、GoogleNet、VGG-16模型的识别精确率、召回率以及F1值
Fig.4 Recognition precision, recall rate, and F1 value of ResNet-101, ResNet-50, GoogleNet, and VGG-16 models
A:30个品种在不同网络模型中的精确率;B:30个品种在不同网络模型中的召回率;C: 30个品种在不同网络模型中的F1值
A:The precision of 30 varieties in different network models ;B:The recall rate of 30 varieties in different network models ; C:F1 values of 30 varieties in different network models
召回率越高,漏检的概率越低。在ResNet-101检测模型的30个品种中,有8个品种的召回率达到100%,分别为5A、101-14、和谐、775p、1103p、抗砧5号、云葡3号、凌砧1号,30个品种的平均召回率达到了91.08%。ResNet-50有8个品种的召回率达到100%,分别为5A、101-14、和谐、775p、1613、SO4、萨尔特克里克、凌砧1号,30个品种的平均召回率达到了92.25%。VGG-16有3个品种的召回率达到100%,分别为101-14、1103p、尤木特,30个品种的平均召回率为84.08%。GoogleNet仅有萨尔特克里克这1个品种召回达到100%,30个品种的平均召回率为81.33%(
F1值越高,模型整体性能越好,ResNet-101与ResNet-50的模型F1值较高,各品种数据F1值差距较小,说明模型可信度较高,模型效果更为稳定(
使用Grad-CAM 算法输出最终卷积层中权重的梯度热图,并对网络模型进行可视化。如

图5 不同卷积神经网络算法Grad-CAM分类效果图
Fig.5 Different convolutional neural network algorithm Grad-CAM classification effect diagram
葡萄砧木品种识别对遗传育种分类和作物估产具有重要意义,葡萄砧木种类繁多,肉眼难以分辨。传统的鉴定方法往往依赖于专家的知识和经验,很难对已有葡萄砧木品种进行自动识别。植物叶片即使在不同的时期也表现出很小的差异,因此可以作为植物品种识别的特征,深度学习方法具有快速、准确、客观的特点。因此,本研究通过葡萄砧木叶片图像预处理技术,利用卷积神经网络具有较强的特征提取和分类能力,通过VGG-16、GoogleNet、ResNet-50、ResNet-101等深度学习框架开展葡萄砧木叶片种类识别,分析不同卷积神经网络对图像的识别分类能力,实现对葡萄砧木的快速准确识别。分析模型分类结果对比发现,ResNet-101和ResNet-50模型比另外两个模型总体识别精度高4%左右,LOSS稳定值大概只有一半,品种平均识别精确率及召回率均较高,单一品种识别精确率、召回率达到100%的品种数量远高于GoogleNet和VGG-16,且较低迭代次数下就能获得较优模型,效果更好且耗时更短。
Cheng
在自然环境条件下,存在叶片被遮挡、背景杂乱和光照亮度不均匀等问题,这会影响葡萄砧木品种识别的准确
本研究只提取了形状、纹理等少量特征用于葡萄砧木的特征提取。下一步的研究方向是提取更多特征参数,比如结合其他植物器官进行更准确的识别。此外,葡萄砧木品种繁多,资源丰富,叶片数据集可以进一步扩大,算法可以精简修改,以便进行更多的品种识别研究。
本研究在田间环境下采集了13547张葡萄砧木叶片图片的数据集,然后采用图像预处理和数据增强相结合的方法对图像特征进行增强,以增强训练数据集。在此基础上,利用4个深度学习网络(GoogleNet, ResNet-50, ResNet-101, VGG-16)对30个葡萄砧木品种的叶片图像进行识别,并对模型参数进行了优化。所有的卷积神经网络分类算法在30个品种的验证数据上均能达到90%以上的精确率。其中,ResNet-101模型在时间和模型复杂度方面均优于其他模型,在最优模型参数(学习率:0.005,最小批次:32,迭代次数:50)下精度达到97.5%。采用Grad-CAM算法对4种卷积神经网络的分类效果进行评价,表明4种卷积神经网络均能准确识别叶片的主要特征,而叶片的叶面纹理、叶脉以及叶缘特征对植物叶片识别起决定性作用。本研究结合深度学习技术实现葡萄砧木的自动识别,以无损的方式获取田间葡萄品种信息。未来将会成为无人农业建设的一部分。综合来看,本研究对葡萄品种的识别研究有一定指导意义,为葡萄砧木品种识别提供新思路。
参考文献
Andzeiewski S, Oliveira D C, Bernardi D, Botton M. Resistance of grapevine genotypes (Vitis spp.) to daktulosphaira vitifoliae (hemiptera: Phylloxeridae) in brazil: Implications for pest management. Environ Entomol, 2022, 51(6): 1166-1171 [百度学术]
葛启要. 葡萄砧木杂种优株田间繁育特性及抗南方根结线虫表现.杨凌:西北农林科技大学, 2023 [百度学术]
Ge Q Y. Field breeding characteristics and resistance to Meloidogyne incognita of grape rootstock hybrid superior plants. Yangling: Northwest A & F University, 2023 [百度学术]
郭艳兰, 牟德生, 赵连鑫, 王鑫, 马宗桓, 张兆铭, 张利年. 六个葡萄砧木品种(系)的抗寒性评价. 中外葡萄与葡萄酒, 2022(3): 38-43 [百度学术]
Guo Y L, Mou D S, Zhao L X, Wang X, Ma Z H, Zhang Z M, Zhang L N. Analysis of cold resistance of six wine grape rootstock varieties. Sino-overseas Grapevine & Wine, 2022(3): 38-43 [百度学术]
Ren C K, Li Z H, Song P H, Wang Y, Liu W D, Zhang L H, Li X G, Li W H, Han D G. Overexpression of a grape MYB transcription factor gene VhMYB2 increases salinity and drought tolerance in Arabidopsis thaliana. International Journal of Molecular Sciences,2023,24(13): 1-18 [百度学术]
刘竞择, 曹柠, 张艳霞, 陈祖民, 史晓敏, 王振平. 葡萄砧木冬季抗抽干能力及抗旱性综合评价. 果树学报, 2020, 37(3): 339-349 [百度学术]
Liu J Z, Cao N, Zhang Y X, Chen Z M, Shi X M, Wang Z P. Comprehensive evaluation on resistance of different grape rootstocks to vine dehydration and drought stress during overwintering. Journal of Fruit Science, 2020, 37(3): 339-349 [百度学术]
Zhao B L, Liu Z Y, Zhu C M, Zhang Z J, Shi W C, Lu Q J, Sun J L. Saline-alkaline stress resistance of cabernet sauvignon grapes grafted on different rootstocks and rootstock combinations. Plants-Basel, 2023, 12(15): 1-14 [百度学术]
Albuquerque S M M, Bentzen S H R, Nascimento S E, Barroso N J, José H P, Lima R T, Gomes N V, Nascimento S A, Soares S E, Luiz F S S. Higher control of N
Li M M, Guo Z J, Jia N, Yuan J W, Han B, Yin Y G, Sun Y, Liu C J, Zhao S J. Evaluation of eight rootstocks on the growth and berry quality of 'marselan' grapevines. Scientia Horticulturae, 2019, 248: 58-61 [百度学术]
Harris Z N, Pratt J E, Kovacs L G, Klein L L, Kwasniewski M T, Londo J P, Wu A S, Miller A J. Grapevine scion gene expression is driven by rootstock and environment interaction. BMC Plant Biology, 2023, 23(1): 1-15 [百度学术]
Wang Z, Cui J, Zhu Y. Review of plant leaf recognition. Artificial Intelligence Review, 2022, 56(5): 4217-4253 [百度学术]
Aslam T, Qadri S, Qadri S F, Nawaz S A, Razzaq A, Zarren S S, Ahmad M, Rehman M U, Hussain A, Hussain I, Jabeen J, Altaf A. Machine learning approach for classification of mangifera indica leaves using digital image analysis. International Journal of Food Properties, 2022, 25(1): 1987-1999 [百度学术]
Patricio D I, Rieder R. Computer vision and artificial intelligence in precision agriculture for grain crops: A systematic review. Computers and Electronics in Agriculture, 2018, 153: 69-81 [百度学术]
Li Z B, Guo R H, Li M, Chen Y R, Li G Y. A review of computer vision technologies for plant phenotyping. Computers and Electronics in Agriculture, 2020, 176: 1-21 [百度学术]
Pushpanathan K, Hanafi M, Mashohor S, Ilahi W F F. Machine learning in medicinal plants recognition: A review. Artificial Intelligence Review, 2020, 54(1): 1-23 [百度学术]
Chen Y, Huang Y Q, Zhang Z Z, Wang Z, Liu B, Liu C H, Huang C, Dong S Y, Pu X J, Wan F H, Qiao X, Qian W Q. Plant image recognition with deep learning: A review. Computers and Electronics in Agriculture, 2023, 212: 1-17 [百度学术]
陈文博, 刘昌华, 刘春苔, 孙开琼. 基于GoogLeNet的稻米品种识别与碎米检测. 中国粮油学报, 2023, 38(2): 146-152 [百度学术]
Chen W B, Liu C H, Liu C T, Sun K Q. Identification rice varieties and broken rice based on GoogLeNet. Journal of the Chinese Cereals and Oils Association, 2023, 38(2): 146-152 [百度学术]
倪建功, 杨昊岩, 李娟, 韩仲志. 基于改进型AlexNet 的花生荚果品种识别. 花生学报, 2021, 50(4): 14-22 [百度学术]
Ni J G, Yang H Y, Li J, Han Z Z. Variety identification of peanut pod based on improved AlexNet. Journal of Peanut Science, 50(4): 14-22 [百度学术]
孙孟研, 王佳, 马睿, 代东南, 刘起, 穆春华, 马德新. 基于注意力机制的轻量化VGG玉米籽粒图像识别模型. 中国粮油学报,2024, DOI: 10.20048/j.cnki.issn.1003-0174.000226 [百度学术]
Sun M Y, Wang J, Ma R, Dai D N, Liu Q, Mu C H, Ma D X. Image recognition model of light VGG maize kernel based on attention mechanism. Journal of the Chinese Cereals and Oils Association,2024, DOI: 10.20048/j.cnki.issn.1003-0174.000226 [百度学术]
杨静, 郗润平, 张迎迎, 汪炜杰. 基于深度学习的中草药植物视觉识别方法研究. 中国体视学与图像分析, 2023, 28(2): 203-211 [百度学术]
Yang J, Xi R P, Zhang Y Y, Wang W J. Visual identification on Chinese herbal medicine plants based on deep learning. Chinese Journal of Stereology and Image Analysis, 2023, 28(2): 203-211 [百度学术]
Chen J, Han J, Liu C, Wang Y, Shen H, Li L. A deep-learning method for the classification of apple varieties via leaf images from different growth periods in natural environment. Symmetry, 2022, 14(8): 1-14 [百度学术]
Tavakoli H, Alirezazadeh P, Hedayatipour A, Nasib A H B, Landwehr N. Leaf image-based classification of some common bean cultivars using discriminative convolutional neural networks. Computers and Electronics in Agriculture, 2021, 181: 1-11 [百度学术]
Liu Y, Su J, Shen L, Lu N, Fang Y, Liu F, Song Y, Su B. Development of a mobile application for identification of grapevine (Vitis vinifera L.) cultivars via deep learning. International Journal of Agricultural and Biological Engineering, 2021, 14(5): 172-179 [百度学术]
Mukasa P, Wakholi C, Faqeerzada M A, Amanah H Z, Kim H, Joshi R, Suh H K, Kim G, Lee H, Kim M S, Baek I, Cho B K. Nondestructive discrimination of seedless from seeded watermelon seeds by using multivariate and deep learning image analysis. Computers and Electronics in Agriculture, 2022, 194: 1-10 [百度学术]
Chen C Y, Jing L H, Li H, Tang Y W, Chen F L. Individual tree species identification based on a combination of deep learning and traditional features. Remote Sens-Basel, 2023, 15(9): 1-25 [百度学术]
He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. CoRR,2015, 8: 770-778 [百度学术]
黄林生, 罗耀武, 杨小冬, 杨贵军, 王道勇. 基于注意力机制和多尺度残差网络的农作物病害识别. 农业机械学报, 2021, 52(10): 264-271 [百度学术]
Huang L S, Luo Y W, Yang X D, Yang G J, Wang D Y. Crop disease recognition based on attention mechanism and multi-scale residual network. Transactions of the Chinese Society for Agricultural Machinery,2021,52(10):264-271 [百度学术]
Chen Z, Jiang Y, Zhang X, Zheng R, Qiu R, Sun Y, Zhao C, Shang H. ResNet18DNN: Prediction approach of drug-induced liver injury by deep neural network with ResNet18. Briefings in Bioinformatics, 2022, 23(1): 1-9 [百度学术]
Huang H, You Z, Cai H, Xu J, Lin D. Fast detection method for prostate cancer cells based on an integrated resnet50 and yolov5 framework. Computer Methods and Programs in Biomedicine, 2022, 226: 1-8 [百度学术]
Al-Gaashani M S A M, Samee N A, Alnashwan R, Khayyat M, Muthanna M S A. Using a resnet50 with a kernel attention mechanism for rice disease diagnosis. Life, 2023, 13(6): 1-14 [百度学术]
Mahmood Khan R N, Hussain L, Alluhaidan A S, Majid A, Lone K J, Verdiyev R, Al-Wesabi F N, Duong T Q. Covid-19 lung infection detection using deep learning with transfer learning and resnet101 features extraction and selection. Waves in Random and Complex Media, 2022, 18: 1-24 [百度学术]
Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V, Rabinovich A. Going deeper with convolutions. CoRR, 2014, 7: 1-9 [百度学术]
林景栋, 吴欣怡, 柴毅, 尹宏鹏. 卷积神经网络结构优化综述. 自动化学报, 2020, 46(01): 24-37 [百度学术]
Lin J D, Wu X Y, Chai Y, Yin H P. Structure optimization of convolutional neural networks: A survey. Acta Automatica Sinica, 2020, 46(1): 24-37 [百度学术]
张驰, 郭媛, 黎明. 人工神经网络模型发展及应用综述. 计算机工程与应用, 2021, 57(11): 57-69 [百度学术]
Zhang C, Guo Y, Li M. Review of development and application of artificial neural network models. Computer Engineering and Applications, 2021, 57(11): 57-69 [百度学术]
方宇伦, 陈雪纯, 杜世昌, 吕君, 王勇. 基于轻量化深度学习VGG16网络模型的表面缺陷检测方法. 机械设计与研究, 2023, 39(2): 143-147 [百度学术]
Fang Y L, Chen X C, Du S C, Lv J, Wang Y. Surface defect detection method based on lightweight deep learning VGG16 network model. Machine Design & Research, 2023, 39(2): 143-147 [百度学术]
Selvaraju R R, Cogswell M, Das A, Vedantam R, Parikh D, Batra D. Grad-cam: Visual explanations from deep networks via gradient-based localization. International Journal of Computer Vision, 2020, 128(2): 336-359 [百度学术]
Cheng Y L, Yang S Q, Liu X, Zhang E Y, Song Z S. Identification of wine grape varieties based on near-infrared hyperspectral imaging. Applied Engineering in Agriculture, 2019, 35(6): 959-967 [百度学术]
Pereira C S, Morais R, Reis M J C S. Deep learning techniques for grape plant species identification in natural images. Sensors, 2019, 19(22): 1-22 [百度学术]
Barhate D, Pathak S, Dubey A K. Hyperparameter-tuned batch-updated stochastic gradient descent: Plant species identification by using hybrid deep learning. Ecological Informatics, 2023, 75: 1-10 [百度学术]