[发明专利]一种基于多层次学习模型的菜品识别与计价系统及方法

说明书

本发明公开了一种基于多层次学习模型的菜品识别与计价系统及方法。本系统在运行逻辑上由自下而上的多层次结构组成，包括终端交互层、餐厅识别层和云端优化层，层次之间存在信息流闭环迭代更新机制，协同完成上层模型优化融合以及下层模型迭代更新与识别。系统以餐厅识别层为功能核心，其与下层组成菜品图像信息交互以及菜品识别模型迭代训练更新的闭环通路；与上层组成全局菜品识别模型优化、融合的闭环通路。系统层次结构设计解耦了菜品识别复杂系统功能，以不同层次模型分布迭代更新与优化的方式提高菜品识别模型丰富度和准确率。随着时间的推移，系统识别的各项指标会逐步提高，系统使用的时间越长，识别的准确度越高。

技术领域

本发明属于人工智能识别、计算机视觉检测领域，具体涉及一种基于多层次学习模型的菜品识别与计价系统及方法。

背景技术

在用餐高峰时期，人口密集的高校食堂、自选餐厅普遍存用餐排队绵延几十米的场景，餐厅窗口工作人员非常忙碌，需要快速为顾客盛菜盛饭、计算价格，这就难免出现计价速度慢、计价易出错等问题，直接导致学生、顾客或是食堂、餐厅的经济损失。针对这些问题，市场对餐厅服务提出了新的要求，比如：计价快速准确；尽可能减少人工干预；菜品识别存在可连续记忆且能应对食堂菜式不断变化的智能识别机制等。经检索查阅资料，相关的解决方案可分为三类：

第一类，以在碗碟中添加辅助器件或机器码的方式。这类方法主要利用在碗碟中内嵌芯片或在表面印刷机器码标志来辅助识别，不同的碗碟特征对应不同的菜价，在工作时，只需将某一菜价的菜放入与该菜价对应的碗碟即可，在计费时可通过识别芯片或识别机器码标志来得到该菜品对应的菜价。这一类解决方案包括中国专利号CN201520183235，公开日：2015年07月22日，专利名称：具有可移动结算终端的自动计费系统，该系统通过读取食物容器RFID芯片信息来获得该食物对应的菜价。中国专利号CN107798521，公开日：2018年03月13日，专利名称：一种基于机器码图像识别的菜品识别与收银系统及方法，该系统通过视觉相机识别外包装上的机器码，以此来获得菜品价格。该类方法是间接方法，灵活性差，碗碟成本高，碗碟上芯片、机器码信息会随着使用时间的增加而产生损耗。另外，机器码也容易被菜品汤汁覆盖，无法识别。

第二类，以盛用菜品所用的碗碟餐具本身作为识别特征的方式。这类方法主要通过机器学习的方法训练餐具本身的形状、颜色特征，以对碗碟进行分类。不同类别对应不同价格的菜品，只需将菜品放入与其价格对应的特定形状和颜色的碗碟即可。中国专利公开号CN103971471，公开日：2014年8月6日，专利名称：基于颜色识别的餐盘自动计价方法及其系统，该系统利用颜色传感器通过对餐盘底部的颜色的识别来区分价格。该类方法通过识别盛菜碗碟特征，间接实现菜品计价，需要将菜品放入事先定义好的特定形状和颜色的碗碟中，由于碗碟的形状和颜色毕竟有限，无法应对菜品较多、价格标准较多时的情况。

第三类，以菜品本身作为识别特征的方式。该方法主要利用机器学习方法训练不同菜品特征来识别菜品，直接获得该菜品对应的菜价信息。中国专利公开号CN201410311841，公开日：2014年10月01日，专利名称：基于图像识别的自选餐厅自助付费装置及其使用方法，该方法通过应用基于卷积神经网络的方法来对菜品进行离线训练、识别，但是由于采用的是离线训练，添加新菜品需要开发人员重新进行模型训练，这就导致菜品模型不能根据每个食堂菜品的特点做出及时调整，实用性和效率较低。另外，中国专利公开号CN201610070288，公开日：2016年07月06日，专利名称：自选餐厅自动计费方法及其实施装置，该方法通过将待识别的菜品放入由最近一段时间内自选区所有菜品数据训练得到的菜品识别模型中进行识别。该方法仅通过在较短时间内的少量图像训练新的菜品识别模型，抛弃了之前菜品信息，没有充分利用之前训练所得的菜品识别模型，其识别正确率与鲁棒性存在一定问题。

发明内容

为解决上述方案中存在的诸多问题，本发明提出了一种基于多层次学习模型的菜品识别与计价系统及方法，提出基于多层次学习构架，融合菜品识别模型的普适性和特殊性，使识别系统具有较强的可靠性。

为达到上述目的，本发明采用的技术方案是：