[发明专利]一种基于深度学习的智能冰箱存取动作识别方法

权利要求书

1.一种基于深度学习的智能冰箱存取动作识别方法，其特征在于：包括以下步骤：

S1、通过摄像头获得视频数据进行输入；

S2、采用当前先进的目标检测器对输入的视频按帧切分图像并检测图像中的手部信息；

S3、当检测出手部信息位于裁剪区域内时，裁剪手部信息图片并送入食材分类网络进行食材分类，并获得食材分类结果；

S4、当检测出手部信息位于跟踪区域内时，将手部信息送入Staple目标跟踪算法，获得手部动作的跟踪轨迹；

S5、利用存取状态判断规则对跟踪轨迹内的手部状态进行判断，获得用户的存取状态；

S6、将用户的存取状态与食材分类结果相结合并输出存取动作结果；

S7、重新初始化，等待进入下一轮动作识别检测。

2.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S2中的目标检测器采用Caffe-SSD-MobaileNetV1。

3.如权利要求2所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S2中的手部信息包括手部食材信息和手部位置信息；手部信息的检测方法包括以下步骤：

S21、首先通过目标检测器获得手部区域的候选窗口和边界框的回归向量，并用边界框做回归,对候选窗口进行校准,然后通过非极大值抑制来合并高度重叠的边界框；

S22、去掉那些误检区域，精细调整后得到手部框，通过手部框得到手部位置信息；

S23、通过手部框获得手部拿取类别向量，并手部拿取类别向量做分类任务，获得手部食材信息。

4.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S3中的裁剪手部信息图片采用OpenCV进行裁剪操作。

5.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S3中的食材分类网络采用多分类模型SqueezeNet。

6.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S5中的存取状态判断规则为：当一段跟踪轨迹中，开始时手部状态为有食材，结束时为无食材，则用户的存取状态为“存”；当一段跟踪轨迹中，开始时手部状态为无食材，结束时为有食材，则用户的存取状态为“取”；当一段跟踪轨迹中，开始时手部状态为有食材，结束时为有食材，则用户的存取状态为“既存又取”；当一段跟踪轨迹中，开始时手部状态为无食材，结束时为无食材，则用户的存取状态为“犹豫”。

7.如权利要求6所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述存取状态判断规则中，开始时的手部状态和结束时的手部状态均采用多次检测取多数方式进行判断。