[发明专利]一种基于多模型的菜品识别方法及设备

权利要求书

1.一种基于多模型的菜品识别方法，其特征在于，所述方法包括：

获取来自图像采集设备的待识别菜品图像；

通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息；

基于所述菜品区域信息及预设菜品特征识别模型，确定所述菜品区域信息中的菜品是否为待注册菜品；

若是，将所述待注册菜品相应的菜品信息发送至预设菜品特征库；其中，所述菜品信息至少包括：菜品标识、所述菜品特征识别模型提取的菜品特征向量；

否则，将所述菜品区域信息中的菜品相应的菜品特征向量更新至所述菜品特征库和/或将所述菜品区域信息中的菜品相应的菜品标识发送至用户终端。

2.根据权利要求1所述方法，其特征在于，通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息之前，所述方法还包括：

获取预设数据库中的若干菜品区域训练样本；其中，各所述菜品区域训练样本中至少包括一个携带标注信息的菜品区域图像；所述标注信息包括菜品标识；

将所述菜品区域训练样本输入待训练的菜品区域检测模型，以对所述菜品区域训练样本进行数据增强处理；其中，所述数据增强处理的处理对象至少包括以下一项或多项：样本图像颜色、样本图像亮度、样本图像几何数据；

通过数据增强处理后的所述菜品区域训练样本，训练所述菜品区域检测模型，以使所述菜品区域检测模型从若干所述处理对象中，确定对各所述菜品区域图像区域检测的关键对象；其中，所述关键对象至少包括一个所述处理对象；所述关键对象用于所述菜品区域检测模型提取所述菜品区域图像。

3.根据权利要求2所述方法，其特征在于，通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息，具体包括：

通过训练完成的所述菜品区域检测模型，确定所述待识别菜品图像中的各菜品区域坐标集合；其中，所述菜品区域检测模型采用高性能检测器YOLOX；一个所述菜品区域坐标集合对应于所述待识别菜品图像中的一个菜品图像；

基于各所述菜品区域坐标集合，生成所述待识别菜品图像中的菜品区域信息；所述菜品区域信息至少包括菜品区域坐标及其对应的菜品区域图像。

4.根据权利要求1所述方法，其特征在于，基于所述菜品区域信息及预设菜品特征识别模型，确定所述菜品区域信息中的菜品是否为待注册菜品，具体包括：

将所述菜品区域信息输入所述菜品特征识别模型中的菜品特征提取子模型，以便所述菜品特征提取子模型提取所述菜品区域信息相应的菜品区域图像的菜品特征向量；其中，所述菜品特征向量为所述菜品特征识别模型中的全局平均池化层输出的预设维度特征向量；

通过所述菜品特征识别模型中的菜品特征匹配子模型，按照预设的FLAT索引，将各所述菜品特征向量与所述菜品特征库中的若干已注册菜品特征向量依次匹配；

基于各所述菜品特征向量与所述菜品特征库中的若干已注册菜品特征向量依次匹配的匹配结果，确定所述菜品区域信息中的菜品是否为待注册菜品。

5.根据权利要求4所述方法，其特征在于，通过所述菜品特征识别模型中的菜品特征匹配子模型，按照预设的FLAT索引，将各所述菜品特征向量与所述菜品特征库中的若干已注册菜品特征向量依次匹配，具体包括：

通过图像处理器GPU，按照所述FLAT索引，并行计算所述菜品特征向量与各所述已注册菜品特征向量的余弦相似度；

根据各所述菜品特征向量相应的若干余弦相似度及预设匹配规则，筛选各所述菜品特征向量匹配的所述已注册菜品特征向量，并生成所述匹配结果；其中，所述匹配规则用于剔除小于预设阈值的所述余弦相似度。