[发明专利]一种基于多模型的菜品识别方法及设备

说明书

本申请提供了一种基于多模型的菜品识别方法及设备，属于基于图像数据处理的菜品识别技术领域。该方法获取来自图像采集设备的待识别菜品图像，通过预设菜品区域检测模型，确定待识别菜品图像中的菜品区域信息。基于菜品区域信息及预设菜品特征识别模型，确定菜品区域信息中的菜品是否为待注册菜品。若是，将待注册菜品相应的菜品信息发送至预设菜品特征库。其中，菜品信息至少包括：菜品标识、菜品特征识别模型提取的菜品特征向量。否则，将菜品区域信息中的菜品相应的菜品特征向量更新至菜品特征库和/或将菜品区域信息中的菜品相应的菜品标识发送至用户终端。

技术领域

本申请涉及基于图像数据处理的菜品识别的技术领域，尤其涉及一种基于多模型的菜品识别方法及设备。

背景技术

随着计算机技术的发展，餐饮行业由原本效率低下的人工售货收银，开始通过计算机视觉技术，进行自动售货及收银。如过去餐厅的结算方式一般是先由客人选取一份或是多份菜品，然后到达结算台，由收银员进行计价，客人按总价付款。现有的结算方式，开始依靠由视觉静态模型库训练的静态识别模型，进行识别菜品及菜品的价格，完成自动结算，例如现有的CN115424258A-一种基于深度学习的餐盘定位识别菜品信息方法该专利公开的识别方法。

但是，由视觉静态模型库训练而来的识别模型，在菜品发生变化，例如菜品配料发生变化，识别模型并不能准确地识别到菜品；且对于未存在于视觉静态模型库中的菜品，更是无法识别，出现识别异常时，仍需要人工处理异常完成结算，结算效率低，人工成本高。若要能够识别更多菜品，需要建立大型菜品训练集，所需成本较高。

基于此，亟需一种能够节省人力、资源成本，并准确且及时识别菜品的技术方案。

发明内容

本申请实施例提供了一种基于多模型的菜品识别方法及设备，用于解决目前菜品识别不准确、不及时，实现自动识别菜品并结算所需人力成本及资源成本高。

一方面，本申请实施例提供了一种基于多模型的菜品识别方法，该方法包括：

获取来自图像采集设备的待识别菜品图像；

通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息；

基于所述菜品区域信息及预设菜品特征识别模型，确定所述菜品区域信息中的菜品是否为待注册菜品；

若是，将所述待注册菜品相应的菜品信息发送至预设菜品特征库；其中，所述菜品信息至少包括：菜品标识、所述菜品特征识别模型提取的菜品特征向量；

否则，将所述菜品区域信息中的菜品相应的菜品特征向量更新至所述菜品特征库和/或将所述菜品区域信息中的菜品相应的菜品标识发送至用户终端。

在本申请的一种实现方式中，通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息之前，还包括：

获取预设数据库中的若干菜品区域训练样本；其中，各所述菜品区域训练样本中至少包括一个携带标注信息的菜品区域图像；所述标注信息包括菜品标识；

将所述菜品区域训练样本输入待训练的菜品区域检测模型，以对所述菜品区域训练样本进行数据增强处理；其中，所述数据增强处理的处理对象至少包括以下一项或多项：样本图像颜色、样本图像亮度、样本图像几何数据；

通过数据增强处理后的所述菜品区域训练样本，训练所述菜品区域检测模型，以使所述菜品区域检测模型从若干所述处理对象中，确定对各所述菜品区域图像区域检测的关键对象；其中，所述关键对象至少包括一个所述处理对象；所述关键对象用于所述菜品区域检测模型提取所述菜品区域图像。

在本申请的一种实现方式中，通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息，具体包括：