[发明专利]一种基于图像文本学习的小样本番茄病害识别系统及方法

说明书

本发明公开了一种基于图像文本学习的小样本番茄病害识别系统及方法，包括：图像分类模块、文本分类模块及联合分类模块；其中图像分类模块，基于番茄图像得到番茄病害种类的第一预测概率；文本分类模块，基于番茄文本信息得到番茄病害种类的第二预测概率；联合分类模块，用于将所述第一预测概率和所述第二预测概率进行联合输出，得到病害类别。本发明通过以上技术方案，不需要大量的病害图像，就能够准确地识别出番茄病害。

技术领域

本发明属于图像模型识别技术领域，特别是涉及一种基于图像文本学习的小样本番茄病害识别系统及方法。

背景技术

在番茄生产过程中，由于细菌、真菌和病毒等病原体的存在，会导致番茄病害频繁发生。这些病害严重影响蔬菜的质量和产量，每年导致十分严重的经济损失。传统的番茄病害诊断主要通过农学专家或者技术员根据经验进行识别和评估，存在耗时、费力且效率低的问题，难以适应病害快速防治的实时性与准确性要求。在过去几年中，深卷积网络的发展推动了大规模基准数据集如ImageNet上通用视觉识别的快速发展。这些基于CNN的模型和算法已被证明可用于解决病害识别问题。因此越来越多的研究聚焦于蔬菜病害检测和分类，并取得了一定的成功。

基于深度学习的番茄叶部病害识别模型通常需要大规模的病害叶片图像作为训练数据集，构建时空分布广泛、不同病害阶段的数据集费时耗力，而且在复杂环境下，番茄病害图像中常包含其他植株、土壤、地膜、水管等各种背景。因此，在现有番茄病害数据集中，一方面，病害图像数量不足以支撑训练参数量大的识别模型，另一方面，病害图像的背景单一，直接使用此种类型的数据集进行训练，在真实环境下测试将会存在较大误差。

发明内容

本发明的目的是提供一种基于图像文本学习的小样本番茄病害识别系统，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于图像文本学习的小样本番茄病害识别系统，包括：图像分类模块、文本分类模块及联合分类模块；

所述图像分类模块，基于番茄图像得到番茄病害种类的第一预测概率；

所述文本分类模块，基于番茄文本信息得到番茄病害种类的第二预测概率；

所述联合分类模块，用于将所述第一预测概率和所述第二预测概率进行联合输出，得到病害类别。

优选地，所述图像分类模块包括：第一特征提取网络和第一概率计算单元；

所述第一特征提取网络，用于对番茄图像进行特征提取，得到第一提取结果；其中所述第一提取结果包括：番茄特征图像和番茄特征图像标签；

所述第一概率计算单元，基于所述第一提取结果计算第一预测概率。

优选地，所述文本分类模块包括：第二特征提取网络和第二概率计算单元；

所述第二特征提取网络，用于对番茄文本信息进行特征提取，得到文本信息提取结果；其中所述番茄文本信息包括：病斑生长的位置信息、叶片的正背面信息及病害特征的本身信息，所述文本信息提取结果包括：番茄特征文本和番茄特征文本标签；

所述第二概率计算单元，用于基于所述文本信息提取结果计算第二预测概率。

优选地，所述第二特征提取网络包括:上下文网络和当前文本网络；

所述上下文网络，通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果；其中所述上下文信息包括所述病斑生长的位置信息和所述叶片的正背面信息；

所述当前文本网络，通过卷积神经网络对当前文本信息进行特征提取，得到第三提取结果；其中所述当前文本信息为所述病害特征的本身信息。

优选地，所述联合分类模块包括：联合输出单元和病害识别单元；