[发明专利]一种厨余垃圾规范动作的检测方法、系统、装置及介质

说明书

本发明公开了一种厨余垃圾规范动作的检测方法、系统、装置及介质，其中方法包括：采用摄像头获取厨余垃圾桶区域的连续视频帧；将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出双手的检测框和垃圾袋的检测框；根据双手的检测框和垃圾袋的检测框判断目标是否规范地将垃圾丢在厨余垃圾桶区域，并在检测到不规范时，发出预设警告。本发明通过模型检测连续视频帧中每一帧手和垃圾袋的检测框，根据检测框来依次判断人们是否将厨余垃圾规范地丢到厨余垃圾桶区域，引导人们的正确投放习惯，具有重大的意义，可广泛应用于机器视觉技术领域。

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种厨余垃圾规范动作的检测方法、系统、装置及介质。

背景技术

我国每年产生大量生活垃圾，其中有很多可回收垃圾是具有再次利用价值，生活垃圾资源化对经济、社会、环境等方面都产生巨大的效益。垃圾分类处理体系是一个复杂的系统，从结构上看，它包括垃圾分类收集、垃圾分类运输、垃圾分类处理以及垃圾分类回收四个环节。实现垃圾分类处理需从源头做起，垃圾分类收集是解决垃圾问题的有效对策之一。

目前，全国各地已经在推进生活垃圾分类投放点的建设。然而，当前许多投放点的管理水平低下，缺乏清晰的垃圾分类引导标志和说明，分类效果差。其中，厨余垃圾由于需要垃圾袋和垃圾分离等额外步骤，出现混投、错分情况严重，这会给后续的垃圾处理带来各种各样的问题。因此，厨余垃圾的规范操作的判断对于投放点的智能化管理，人们的正确投放习惯引导，乃至生活垃圾分类大数据统计分析具有十分重要的意义。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于：

本发明所采用的技术方案是：

一种厨余垃圾规范动作的检测方法，包括以下步骤：

采用摄像头获取厨余垃圾桶区域的连续视频帧；

将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出每一视频帧中双手的检测框和垃圾袋的检测框；

获取双手的检测框与垃圾袋检测框的第一交并比，根据所述第一交并比判断手与垃圾袋是否分离，若分离，发出预设警告；

获取双手对应的两个检测框之间的水平距离变化，根据所述水平距离变化判断是否存在解袋操作，若不存有，发出预设警告；

获取双手对应的两个检测框之间的竖直距离变化，根据所述竖直距离变化判断是否存在倒垃圾的动作，若不存有，发出预设警告；

获取双手的检测框与垃圾袋检测框的第二交并比，根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，若是，发出预设警告。

进一步，所述手及垃圾袋检测模型包括手检测网络和垃圾袋检测网络，所述手检测网络包括手特征提取网络和手分类定位判断网络，所述垃圾袋检测网络包括垃圾袋特征提取网络和垃圾袋分类定位判断网络，所述手及垃圾袋检测模型由手检测网络和垃圾袋检测网络根据相关损失函数进行交替更新后获得。

进一步，所述一种厨余垃圾规范动作的检测方法还包括建立手检测模型的步骤，所述建立手检测模型的步骤包括对所述手检测网络进行训练的步骤，所述对所述手检测网络进行训练的步骤包括对所述垃圾特征提取网络和垃圾分类定位判断网络进行训练这一步骤，具体为：

将带有手位置标签的数据集输入至所述手特征提取网络后，获得手特征图；

将所述手特征图输入至所述手分类定位判断网络后，获得手置信度及对应手检测框坐标；

根据所述手置信度及对应手检测框坐标和手位置标签计算相关损失函数；

采用所述相关损失函数对所述手特征提取网络、所述手分类定位判断网络进行训练。