[发明专利]一种垃圾分类方法、装置、终端设备及存储介质

权利要求书

1.一种垃圾分类方法，其特征在于，包括：

获取待分类垃圾的图像；

若获取到与所述待分类垃圾的信息对应的语音数据，将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别；其中，所述第一分类模型是以垃圾图像、垃圾信息对应的语音数据以及垃圾类别为训练样本，对第一网络模型进行训练得到的。

2.如权利要求1所述的垃圾分类方法，其特征在于，所述第一分类模型包括语音识别模型和图像识别模型；所述将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别，具体包括：

将所述语音数据输入所述语音识别模型，以输出第一分类特征；

将所述待分类垃圾的图像输入所述图像识别模型，以输出第二分类特征；

将所述第一分类特征和所述第二分类特征进行拼接，以根据拼接结果输出待分类垃圾的类别。

3.如权利要求2所述的垃圾分类方法，其特征在于，所述将所述语音数据输入所述语音识别模型，以输出第一分类特征，具体包括：

将所述语音数据转化为文本数据；

对所述文本数据进行词嵌入，以得到每个词语对应的词语向量，其中，所述词语向量包括第一词语特征信息和词语位置信息；

根据所述每个词语对应的第一词语特征信息和词语位置信息计算每个词语的自注意力；

根据每个词语的自注意力提取每个词语对应的第二词语特征信息；

根据所述每个词语的第二词语特征信息输出所述第一分类特征。

4.如权利要求2所述的垃圾分类方法，其特征在于，所述图像识别模型是以垃圾图像和对应的预测概率为训练样本进行训练得到的，其中，所述预测概率为将所述垃圾图像输入预设图像分类模型后得到的，所述预设图像分类模型是以垃圾图像和对应的垃圾类别为训练样本进行训练得到的。

5.如权利要求2所述的垃圾分类方法，其特征在于，所述第一分类特征为第一分类向量，所述第二分类特征为第二分类向量；所述将所述第一分类特征和所述第二分类特征进行拼接，包括：

将所述第一分类向量和所述第二分类向量相加。

6.如权利要求1所述的垃圾分类方法，其特征在于，所述获取待分类垃圾的图像之后，所述方法还包括：

若未获取到与所述待分类垃圾的信息对应的语音数据，将所述待分类垃圾的图像输入第二分类模型，以输出待分类垃圾的类别；其中，所述第二分类模型是以垃圾图像以及垃圾类别为训练样本，对第二网络模型进行训练得到的。

7.如权利要求6所述的垃圾分类方法，其特征在于，所述将所述待分类垃圾的图像输入第二分类模型，以输出待分类垃圾的类别，具体包括：

提取所述待分类垃圾的图像的特征；

对所述待分类垃圾的图像的特征进行全局平均池化，以得到第一图像特征向量；

对所述待分类垃圾的图像的特征进行全局最大化池化，以得到第二图像特征向量；

将所述第一图像特征向量和所述第二图像特征向量相加，以得到第三图像特征向量；

根据所述第三图像特征向量和所述待分类垃圾的图像的特征输出待分类垃圾的类别。

8.一种垃圾分类装置，其特征在于，包括：

获取模块，用于获取待分类垃圾的图像；

分类模块，用于若获取到与所述待分类垃圾的信息对应的语音数据，将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别；其中，所述第一分类模型是以垃圾图像、垃圾信息对应的语音数据以及垃圾类别为训练样本，对第一网络模型进行训练得到的。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。