[发明专利]一种基于手部区域预测的深度学习手部检测方法

摘要

本发明公开了一种基于手部区域预测的深度学习手部检测方法，手部分为左手、右手以及交叠双手，该检测方法首先训练一个深度卷积网络，使用训练好的该网络检测复杂背景下视频流第一帧中的手部类别及区域；然后根据由手部运动惯性所产生的手部在时间和空间上的相关性，采用跟踪算法预测第二帧中手部区域，并结合相邻帧差法获取手部遮挡区域以及新出现的手部区域，利用跟踪算法和相邻帧差法所获得的区域构造掩膜，增强图像中感兴趣的部分，形成加入了注意力的帧图片；将此图片输入至训练好的深度卷积网络中检测，得到精准的手部类别及区域；直至最后一帧都采取同第二帧同样的检测方法，实现复杂背景下视频流手部检测。

主权项

1.一种基于手部区域预测的深度学习手部检测方法，手部包括左手、右手以及交叠双手，其中左手包括出现物体遮挡时的左手，右手包含出现物体遮挡时的右手，交叠双手是包含双手交叠部分的双手区域同时包括出现物体遮挡时的交叠双手；其特征在于：该检测方法包括：步骤S101：训练深度卷积网络，使用训练好的深度卷积网络检测复杂背景下视频流第一帧中的手部；步骤S102：根据第一帧中手部检测结果，结合手部运动惯性，采用跟踪算法预测第二帧中手部区域，并结合相邻帧差法获取手部遮挡以及新出现的手部区域，利用跟踪算法和相邻帧差法所获得的区域构造掩膜，增强图像中感兴趣的区域，形成加入了注意力的帧图片；步骤S103：将加入了注意力的帧图片输入至训练好的深度卷积网络中检测，得到精准的手部类别及区域；步骤S104：视频流之后的每一帧沿用对第二帧采用的手部检测方法，实现复杂背景下的视频流手部检测。