[发明专利]一种厨余垃圾规范动作的检测方法、系统、装置及介质

权利要求书

1.一种厨余垃圾规范动作的检测方法，其特征在于，包括以下步骤：

采用摄像头获取厨余垃圾桶区域的连续视频帧；

将所述连续视频帧输入至训练好的手及垃圾袋检测模型，输出双手的检测框和垃圾袋的检测框；

获取双手的检测框与垃圾袋检测框的第一交并比，根据所述第一交并比判断手与垃圾袋是否分离，若分离，发出预设警告；

获取双手对应的两个检测框之间的水平距离变化，根据所述水平距离变化判断是否存在解袋操作，若不存有，发出预设警告；

获取双手对应的两个检测框之间的竖直距离变化，根据所述竖直距离变化判断是否存在倒垃圾的动作，若不存有，发出预设警告；

获取双手的检测框与垃圾袋检测框的第二交并比，根据所述第二交并比判断是否将垃圾袋丢在厨余垃圾桶区域，若是，发出预设警告。

2.根据权利要求1所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述手及垃圾袋检测模型包括手检测网络和垃圾袋检测网络，所述手检测网络包括手特征提取网络和手分类定位判断网络，所述垃圾袋检测网络包括垃圾袋特征提取网络和垃圾袋分类定位判断网络，所述手及垃圾袋检测模型由手检测网络和垃圾袋检测网络根据相关损失函数进行交替更新后获得。

3.根据权利要求2所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述一种厨余垃圾规范动作的检测方法还包括建立手检测模型的步骤，所述建立手检测模型的步骤包括对所述手检测网络进行训练的步骤，所述对所述手检测网络进行训练的步骤包括对手特征提取网络和手分类定位判断网络进行训练这一步骤，具体为：

将带有手位置标签的数据集输入至所述手特征提取网络后，获得手特征图；将所述手特征图输入至所述手分类定位判断网络后，获得手置信度及对应手检测框坐标；

根据所述手置信度及对应手检测框坐标和手位置标签计算相关损失函数；

采用所述相关损失函数对所述手特征提取网络、所述手分类定位判断网络进行训练。

4.根据权利要求2所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述一种厨余垃圾规范动作的检测方法还包括建立垃圾袋检测模型的训练步骤，所述建立垃圾袋检测模型的训练步骤包括对所述垃圾袋检测网络进行训练的步骤，所述对所述垃圾袋检测网络进行训练的步骤包括对垃圾袋特征提取网络和垃圾袋分类定位判断网络进行训练这一步骤，具体为：

将带有垃圾袋位置标签的数据集输入至所述垃圾袋特征提取网络后，获得垃圾袋特征图；

将所述垃圾袋特征图输入至所述垃圾袋分类定位判断网络后，获得垃圾袋置信度及对应垃圾袋检测框坐标；

根据所述垃圾袋置信度及对应垃圾袋检测框坐标和垃圾袋位置标签计算相关损失函数；

采用所述相关损失函数对所述垃圾袋特征提取网络、所述垃圾袋分类定位判断网络进行训练。

5.根据权利要求1所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述根据所述水平距离变化判断是否存在解袋操作，包括：

计算连续帧内，左手对应的检测框和右手对应的检测框的水平像素距离；

根据左手对应的检测框和右手对应的检测框在连续视频帧内的水平像素距离变化情况判断是否存在解袋操作。

6.根据权利要求1所述的一种厨余垃圾规范动作的检测方法，其特征在于，所述根据所述竖直距离变化判断是否存在倒垃圾的动作，包括：

计算连续帧内，左手对应的检测框和右手对应的检测框的竖直像素距离；

根据左手对应的检测框和右手对应的检测框在连续视频帧内的竖直像素距离变化情况判断是否存在倒垃圾动作。