[发明专利]一种结合检索与分类的物品种类识别方法及系统

权利要求书

1.一种结合检索与分类的物品种类识别方法，其特征在于，包括：

采集种类范围确定的不同种类物品图像；

标注所得图像中物品的种类，构造检索模型训练数据集；

利用得到的检索模型训练数据集，训练并得到检索模型；

利用得到的检索模型对待识别种类图像中的物品进行种类检索匹配，并根据检索匹配结果，对待识别种类图像进行如下分类：

当某一类别的种类检索匹配结果与标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；

当某一类别的种类检索匹配结果与标注的物品种类之间存在不同时，认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像；

对于得到的易匹配图像，由得到的检索模型直接得到种类结果；

对于得到的难匹配图像，根据图像对应的标注中指示的物品种类，挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；

利用得到的分类模型训练数据集，训练并得到分类模型；

利用得到的分类模型，对难匹配图像进行分类识别，得到种类结果；

所述种类范围确定，是指事先指定的一种或多种物品的种类；和/或所述物品图像采用利用颜色空间进行表述的图像，其中，每一张图像仅包含一个种类的物品，且该种类物品的数量为1。

2.根据权利按要求1所述的结合检索与分类的物品种类识别方法，其特征在于，所述标注，是指针对图像中物品，人工标注出其所属种类。

3.根据权利按要求1所述的结合检索与分类的物品种类识别方法，其特征在于，所述检索模型采用深度学习模型，依据待识别种类图像中的物品图像和标注的目标种类图像之间的高维空间距离，判断待识别物品是否属于目标种类；其中，将高维空间距离最小值的目标种类作为所述待识别物品的种类；其中：

将待识别种类图像中的物品特征与标注的目标物品种类特征之间的余弦距离作为高维空间距离，当该距离小于设定阈值时，则视作二者匹配成功；若此时有多个匹配成功的类别，则取与待识别种类图像中的物品的余弦距离最小的目标类别，作为检索匹配结果。

4.根据权利按要求3所述的结合检索与分类的物品种类识别方法，其特征在于，所述检索模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：

所述输入层用于输入调整大小后图像尺寸相同的物品图像；

所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；

所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；

所述全连接层用于连接当层神经元与前一层神经元；

所述输出层用于计算分类和回归结果。

5.根据权利按要求1所述的结合检索与分类的物品种类识别方法，其特征在于，所述分类模型采用深度学习模型，以待识别物品图像作为输入，输出所述待识别物品图像属于各个目标种类的置信度信息，以所得的各个目标种类的置信度作为判断种类的依据；其中，将最高置信度的目标种类作为待识别物品的种类。

6.根据权利按要求4所述的结合检索与分类的物品种类识别方法，其特征在于，所述深度学习模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：

所述输入层用于输入调整大小后图像尺寸相同的物品图像；

所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；

所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；

所述全连接层用于连接当层神经元与前一层神经元；

所述输出层用于计算分类和回归结果。