[发明专利]一种基于图像文本学习的小样本番茄病害识别系统及方法

权利要求书

1.一种基于图像文本学习的小样本番茄病害识别系统，其特征在于，包括：图像分类模块、文本分类模块及联合分类模块；

所述图像分类模块，基于番茄图像得到番茄病害种类的第一预测概率；

所述文本分类模块，基于番茄文本信息得到番茄病害种类的第二预测概率；

所述联合分类模块，用于将所述第一预测概率和所述第二预测概率进行联合输出，得到病害类别。

2.根据权利要求1所述的基于图像文本学习的小样本番茄病害识别系统，其特征在于，

所述图像分类模块包括：第一特征提取网络和第一概率计算单元；

所述第一特征提取网络，用于对番茄图像进行特征提取，得到第一提取结果；其中所述第一提取结果包括：番茄特征图像和番茄特征图像标签；

所述第一概率计算单元，基于所述第一提取结果计算第一预测概率。

3.根据权利要求1所述的基于图像文本学习的小样本番茄病害识别系统，其特征在于，

所述文本分类模块包括：第二特征提取网络和第二概率计算单元；

所述第二特征提取网络，用于对番茄文本信息进行特征提取，得到文本信息提取结果；其中所述番茄文本信息包括：病斑生长的位置信息、叶片的正背面信息及病害特征的本身信息，所述文本信息提取结果包括：番茄特征文本和番茄特征文本标签；

所述第二概率计算单元，用于基于所述文本信息提取结果计算第二预测概率。

4.根据权利要求3所述的基于图像文本学习的小样本番茄病害识别系统，其特征在于，

所述第二特征提取网络包括:上下文网络和当前文本网络；

所述上下文网络，通过双向循环神经网络对上下文信息进行特征提取，得到第二提取结果；其中所述上下文信息包括所述病斑生长的位置信息和所述叶片的正背面信息；

所述当前文本网络，通过卷积神经网络对当前文本信息进行特征提取，得到第三提取结果；其中所述当前文本信息为所述病害特征的本身信息。

5.根据权利要求1所述的基于图像文本学习的小样本番茄病害识别系统，其特征在于，

所述联合分类模块包括：联合输出单元和病害识别单元；

所述联合输出单元，用于将所述番茄图像和所述番茄文本进行联合输出，得到第三预测概率；

所述病害识别单元，基于所述第三预测概率对番茄病害进行识别，得到病害类别。

6.一种基于图像文本学习的小样本番茄病害识别方法，其特征在于，包括以下步骤：

基于番茄图像得到番茄病害种类的第一预测概率；

基于番茄文本信息得到番茄病害种类的第二预测概率；

将所述第一预测概率和所述第二预测概率进行联合输出，得到病害类别。

7.根据权利要求6所述的基于图像文本学习的小样本番茄病害识别方法，其特征在于，

得到番茄病害种类的第一预测概率的过程包括：

对番茄图像进行特征提取，得到第一提取结果；其中所述第一提取结果包括：番茄特征图像和番茄特征图像标签；基于所述第一提取结果计算第一预测概率。

8.根据权利要求6所述的基于图像文本学习的小样本番茄病害识别方法，其特征在于，

得到番茄病害种类的第二预测概率的过程包括：

对番茄文本信息进行特征提取，得到文本信息提取结果；基于所述文本信息提取结果计算第二预测概率；其中所述番茄文本信息包括：病斑生长的位置信息、叶片的正背面信息及病害特征的本身信息，所述文本信息提取结果包括：番茄特征文本和番茄特征文本标签。