[发明专利]一种基于计算机视觉的集装箱安全起吊监测方法

权利要求书

1.一种基于计算机视觉的集装箱安全起吊监测方法，其特征在于，包括如下步骤：

步骤1：获取初始化数据，设置监测信号的初始值；

步骤2：根据初始信号设定第一帧图像需要检测的感兴趣区域Roi_detect；

步骤3：对感兴趣区域Roi_detect提取方向直方图HOG特征；

步骤4：进行集装箱锁扣检测；

步骤5：获取锁扣所在位置；

步骤6：跟踪锁扣和车体的运动；

步骤7：分析锁扣和车体的运动关系，给出集装箱是否被安全起吊结果；

步骤8：对两个摄像头采集的视频数据进行并行处理，分别执行步骤1～步骤7，得到两个结果，如果其中一个检测结果是危险起吊，则给出最终的检测结果危险信号，如果两个结果都未表示危险起吊，则给出最终的检测结果为安全信号，否则继续读取下一帧视频图像，执行步骤1～步骤7；

步骤1包括如下步骤：

步骤1-1：获取初始化数据：获取集装箱的尺寸信息和摄像头的位置信息，初始化摄像头位置和集装箱尺寸大小，集装箱的尺寸包括两种型号：6.1m和12.2m；

摄像头位置分为头部摄像头和尾部摄像头，分别表示为HEAD_CAM和END_CAM，

则一共分为四种视频数据，分别为头部摄像头6.1m集装箱、尾部摄像头6.1m集装箱、头部摄像头12.2米集装箱和尾部摄像头12.2m集装箱，分别记为HEAD_6、END_6、HEAD_12和END_12；

步骤1-2：初始化监测信号，监测信号包括起吊信号signal1，检测信号signal2，跟踪信号signal3，结束信号signal4；

起吊信号signal1为监测开始的激发信号，初始化为false，即只有当起吊信号signal1为true时才进行集装箱安全起吊的监测；集装箱被吊起一定高度后，确保相抵锁位置能被摄像头捕捉后，吊车控制系统给出起吊信号，然后再设置起吊信号为true，开始检测；

检测信号signal2为图像进行检测的激发信号，初始为true，一旦检测到集装箱锁扣就将检测信号signal2设置为false，之后不再对视频进行集装箱锁扣的检测操作；

跟踪信号signal3为跟踪集装箱锁扣的激发信号，初始化为false，只有当检测锁扣得到的概率值大于一定阈值时，才将跟踪信号signal3设置为true，进行跟踪操作，否则不进行跟踪操作；

结束信号signal4为监测结束的激发信号，一旦给出危险或者安全信号，则激发结束信号signal4，结束该视频的监测；

步骤3包括如下步骤：

步骤3-1，将第一帧图像灰度化；

步骤3-2，采用Gamma校正法对图像进行颜色空间的标准化，即归一化；

步骤3-3，在感兴趣Roi_detect内用滑动窗口方法生成N个固定大小的区域，对每个区域通过步骤3-4～3-9计算方向直方图HOG特征；

步骤3-4，计算图像每个像素的梯度，包括大小和方向：

d₁(x，y)＝I(x₁，y₁)-I(x₀，y₀)

…

d_n(x，y)＝I(x_n，y_n)-I(x₀，y₀)

将单元格的梯度方向360°均匀划分为9个方向块，其中I(x₀，y₀)表示要计算的点的像素值，I(x₀，y₀)...I(x_n，y_n)表示9个方向的像素值，d_n(x，y)表示像素点(x₀，y₀)处9个方向的梯度，其中n的取值范围是1～9；

每个像素的梯度g表示为：

步骤3-5，将图像划分成小单元格；

步骤3-6，统计每个单元格的梯度直方图，即形成每个单元格的描述子；

步骤3-7，将每Z₁个单元格组成一个图像块，一个图像块内所有单元格的特征描述子串联起来便得到该图像块的方向直方图HOG特征描述子；

步骤3-8，将图像内的所有图像块的方向直方图HOG特征描述子串联起来就能够得到要检测的目标的方向直方图HOG特征，所述要检测的目标的方向直方图HOG特征就是最终的可供分类使用的特征向量；

步骤3-9，最后将计算得到的每个区域的方向直方图HOG特征作为该区域的局部特征；

步骤4包括：

步骤4-1：训练分类器：采集大量集装箱检测的样本图像，并标记出集装箱锁扣的位置，生成集装箱锁扣的正样本，在样本图像中除锁扣位置外随机生成负样本，同时控制正负样本比例为1∶3，提取正样本和负样本的方向直方图HOG特征，通过线性支持向量机SVM训练分类器；

步骤4-2：分类：通过步骤2～3得到的每个区域的HOG特征，然后输入到训练好的线性支持向量机SVM分类得到每个区域是正样本的概率值F，只保留概率值大于设定值的M个区域S_M；

步骤5包括：对保留下的M个概率值大于阈值的区域S_M，计算概率值前k个区域中心之间的像素欧式距离z，若z小于或等于阈值，则判定k个区域检测的是同一个锁扣区域，取k个区域中概率值F最大的区域作为锁扣所在位置；若z大于设定阈值，则通过投票法，对概率值为前j个进行投票，并取投票个数最多的区域作为锁扣所在位置；

步骤6包括：若由步骤4-2得到的集装箱锁扣检测结果的概率值大于设定阈值，则对集装箱锁扣和车体进行跟踪，首先根据锁扣的位置，设定集装箱锁扣下面一定距离的区域为车体，通过核相关滤波算法KCF跟踪器跟踪锁扣和车体运动；否则不进行跟踪；

步骤7包括：

在步骤6中，通过跟踪器分别得到集装箱和车体在图像中的实时位置信息，从而得到集装箱和车体相对于原位置的运动方向和距离：记车体的初始位置为Car_ori，集装箱初始位置为Container_ori，车体的实时位置信息为Car_pos，集装箱的实时位置信息为Container_pos；

集装箱起吊有两种情况，一种是危险起吊，另一种是安全起吊；

集装箱被危险起吊分为如下四种情况：

第一种情况，若集装箱的视频检测的锁扣被锁住，在视频中反应为车体和集装箱一起被吊起，一起向上运动；若根据步骤6跟踪车体得到的车体起吊向上运动距离超过上升阈值thresold_ris，即Car_pos-Car_ori＞thresold_ris，则为危险起吊；

第二种情况，若集装箱的视频检测端的另一端锁扣被锁住，由于另一端被吊起，所以检测端在视频中反应为车体和集装箱一起向下运动；若根据步骤6跟踪车体得到的车体向下运动距离超过下降阈值thresold_down，即Car_ori-Car_pos＞thresold_down，则很可能是检测端的另一端锁扣被锁住，为危险起吊；

第三种情况，在集装箱被吊起一定像素距离之后车子还有下降量，则判定是车子另外一端被吊起导致检测端车体下降，为危险起吊；

第四种情况，车子在起吊过程中开走情况：当车体被吊起一定高度之后，若检测到车体有下降量，则检测是否是由车子开走而导致车体下降的，若由步骤6跟踪车体运动判定车体未开走，则为危险起吊；

集装箱安全起吊分为如下两种情况：

第一种情况，集装箱以及被吊起到特定高度且没有检测到危险情况，则判定集装箱被安全起吊；

第二种情况，在集装箱吊起的过程中，根据如下公式计算tanθ：

其中，θ表示车体在视频中的移动角度，如果tanθ＜thresh，则判定车子移动，则输出安全信号，否则输出危险信号；

所述检测是否是由车子开走而导致车体下降的，具体包括：

计算f帧之后视频中y轴方向上的变化量Δy＝Car_pos·y-Car_ori·y，以及x轴方向上的变化量Δx＝Car_pos·x-Car_ori·x，其中x，y分别表示图像中的像素横坐标、纵坐标；计算tanθ：

其中，θ表示车体在视频中的移动角度，如果tanθ大于阈值thresh，说明y轴方向变化很大，表示车子另外一端被吊起导致检测端下降，则输出危险信号，否则输出安全信号。