[发明专利]基于图像识别的餐饮行业的自动收费方法及系统

说明书

技术领域

本发明涉及一种基于图像识别的餐饮行业的自动收费方法及系统。

背景技术

目前餐饮计费有3种方式：

1、完全人工计费

2、预储值卡计费(即入餐时先办一张预储值的卡，消费完后，退卡结费)

3、RFID芯片识别(RFID是一种可射频识别的芯片，在每个碗的碗底贴一张RFID芯片，用碗的颜色或大小来区分价格，在食物装盘时就需要事先按照碗的大小和颜色——即事先标价来装盛食物)。这是目前唯一可以实现无人计费收费的方案。这种方案的缺点是成本高，每一个碗底都需要贴RFID芯片一块，但 RFID只能针对碗进行标价，而不能让识别器认出这是什么菜然后针对菜品计费。并且不是所有的食物都可以贴上RFID芯片，比如一次性纸杯配装的饮料或者一些零散的食物，因为RFID芯片的成本较高，若不回收，就会造成巨大的浪费。所以现有技术的缺点很明显，总结起来就是：使用成本高、灵活性极差、维护麻烦、管理成本高、适用范围非常窄。尤其是第3种作为目前可行的无人收费方案，根本不能完好的解决计费问题，因此适用范围非常的窄，也很少能看到有餐厅使用。

有鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种基于图像识别的餐饮行业的自动收费方法及系统，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是解决目前快餐行业计费和收费时必须依赖人工的问题，即解决提供了一种全自动无人计费收费的基于图像识别的餐饮行业的自动收费方法及系统。

本发明基于图像识别的餐饮行业的自动收费方法，包括：

将待付款食物置于预先设定的图像采集区，通过具有深度探测功能的摄像头获取食物图像；

对所述食物图像进行分析，将包含食物价格的识别图像分离出来；

对所述识别图像进行图像增强，将所述识别图像进行分类，采用相应类型的识别图像识别方法对所述识别图像进行识别，确定相应的食物价格，其中，所述识别图像的类型包括：食物外包装上的二维码或条形码，容置食物的餐具的形状、色彩图像以及食物本身的图像；

消费者采用微信、支付宝或其他自助付款方式进行支付。

进一步地，对所述识别图像进行识别的方法包括：

若所述识别图像为二位码或条形码，则通过可以识别条形码或二维码的开源软件库获取待付款食物的价格信息；

若所述识别图像为容置食物的餐具的形状、色彩图像或食物本身的图像，则将所述的识别图像与图像-价格对应数据库中的预存储的模板图像进行匹配，若找到匹配图像，则获取该匹配图形对应的价格信息输出；若没有找到匹配图像，则发出报警信息，将该识别图像以及该识别图像对应的价格信息更新至图像-价格对应数据库。

进一步地，还包括采用Google的TensorFlow开源软件库来对容置食物的餐具的形状、色彩图像或食物本身的图像进行数据训练具体的训练步骤包括：

将食物或装有食物的餐具放在摄像头下，摄像头以至少两个不同的角度获取食物或装有食物的餐具的图像，获取食物在餐具中至少两个不同放置方式的图像，对同一食物或同一装有食物的餐具拍摄5～8张不同的图像；

对每一张图像分别使用LBP、Gabor、CEDD、LCC特征采集算法采集特征数据；

对得到的识别图像以及特征数据设置相应的标签，输出给TensorFlow软件，TensorFlow软件用于自动完成无监督的训练和建模；其中，训练过程中如果出现冲突，即两种食物无法分辨率出来，则按照TensorFloww的冲突解决规则重新拍照重新训练或增加更多维度更多类型的特征数据。

进一步地，采用“霍夫圆寻找算法”，找出所有圆形口的餐具，采用“霍夫线条寻找算法”，对找出来的线条进行封闭，对封闭后的图形寻找所有的矩形轮廓，即可确认方形口的餐具，餐具确认之后，使用相同的坐标从彩色图像上将餐具内的彩色图像提取出来，将识别图像加上提取的特征数据，交给TensorFlow 进行识别，确定待付款食物的价格信息。

进一步地，还包括防作弊处理，所述防作弊处理包括：判断待付款食物是否完整的放置在预先设定的图像采集区，其中通过计算食物边缘或用于容置食物的餐具边缘的完整程度判断待付款食物是否放置在预先设定的图像采集区，以及通过计算食物离摄像头的距离，判断待付款食物是否放置在预先设定的图像采集区；

若待付款食物在预先设定的图像采集区，则获取所述待付款食物的食物图像，判断获取的食物图像中是否有食物之外的异物图像，若有，则发出报警信息，若没有，则存储该待付款食物的食物图像；