[发明专利]一种实时跟踪的剪刀式刀闸状态的检测方法

权利要求书

1.一种实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，采集剪刀式刀闸的实时监控视频，获取实时视频的任一帧图像并根据该帧图像建立该型号刀闸的刀闸臂的边界线模型并保存为模型文件；

通过多种途径获取剪刀式刀闸的样本图像，对样本图像利用深度学习算法进行训练获取标注刀闸臂和刀闸臂关节点位置的训练模型；

从视频的第一帧图像开始依次检测，利用训练模型和模型文件对第一帧图像中的刀闸臂自动定位并获取刀闸估计状态，若第一帧图像中刀闸估计状态为打开，则直接输出刀闸状态为打开并继续检测第二帧图像，直至检测到一帧图像中的刀闸估计状态为闭合或虚合，将该帧图像标记为检测角度的初始帧图像；根据模型文件和训练模型获取初始帧图像中的刀闸臂关节点矩形框，计算初始帧图像中刀闸臂的关节点和刀闸臂的角平分线，同时提取初始帧图像中的刀闸臂关节点矩形框内的利于跟踪的特征点并记录；根据对初始帧图像中刀闸臂的定位结果对该帧图像中的刀闸进行边缘检测，确定初始帧图像中最终的上刀闸臂边缘线和下刀闸臂边缘线，进而计算上刀闸臂和下刀闸臂之间的夹角，判断初始帧图像中刀闸的实时状态；

利用前一帧图像的特征点对当前帧图像中刀闸臂关节点跟踪定位，根据该跟踪定位结果计算当前帧图像中刀闸臂角平分线，对当前帧图像中的刀闸进行自动定位并根据定位结果进行边缘检测，确定当前帧图像中最终的上刀闸臂边缘线和下刀闸臂边缘线，进而计算上刀闸臂和下刀闸臂之间的夹角，判断当前帧图像中刀闸的实时状态；

与处理当前帧图像相同的方式依次处理下一帧图像，如果刀闸运动方向为由打开到闭合，则直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；如果刀闸的运动方向为由闭合到打开，则检测到刀闸状态变为打开时，直接输出刀闸打开状态，不需要计算刀闸臂间的角度，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态。

2.根据权利要求1所述的实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，“获取实时视频的任一帧图像并根据该帧图像建立该型号刀闸的刀闸臂的边界线模型并保存为模型文件”的方式为：获取视频的任一帧图像，在计算机上设置一个程序，利用该程序打开该帧图像并对其中刀闸的上下刀闸臂的左右边界和上下边界进行描边，形成一个四边形模板，上下刀闸臂在该四边形模板内，将四边形模板的四个端点坐标保存为模型文件；若该帧图像中的刀闸是闭合状态，根据刀闸臂的实际位置进行描边，若该帧图像中的刀闸是打开或虚合状态，根据刀闸的上下固定边界估算刀闸臂闭合状态下的位置，并对其闭合状态下的位置描边。

3.根据权利要求2所述的实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，利用训练模型和模型文件对第一帧图像中的刀闸臂自动定位并获取刀闸估计状态的具体方式为：

利用训练模型对当前帧图像进行检测，获取当前帧图像中的所有刀闸区域及每个刀闸区域对应的刀闸估计状态，“闭合”和“虚合”状态的刀闸对应的所在区域为包含上下刀闸臂及上下端点的整体矩形框区域，“打开”状态的刀闸对应的所在区域为包含上下刀闸臂和下端点的折叠矩形框区域；

根据模型文件获取闭合状态的刀闸的闭合四边形框区域、上中点和下中点，上中点为闭合四边形框的上边界的中点，下中点为闭合四边形框的下边界的中点，计算上述整体矩形框区域和折叠矩形框区域分别与闭合四边形框区域的重叠面积；

遍历当前帧图像中所有“闭合”和“虚合”状态的刀闸所在的区域，给定重叠面积阈值，获取包含上中点和下中点且重叠面积最大并大于重叠面积阈值的区域，则该区域即为最终的上下刀闸臂整体区域，以此实现“闭合”或“虚合”状态的刀闸定位；

若不存在上述包含上中点和下中点且重叠面积最大并大于重叠面积阈值的区域，则表明当前待检测的刀闸当前状态不是“闭合”或“虚合”状态，从所有“打开”状态的刀闸中实现刀闸定位，遍历目标图像中所有“打开”状态的刀闸所在的区域，获取包含下中点且重叠面积最大并大于重叠面积阈值的区域，若该区域存在，则该区域即为最终的打开状态的刀闸臂区域，以此实现“打开”状态的刀闸定位。