[发明专利]基于视觉感知的手动放置构件时水体稳态检测方法

权利要求书

1.一种基于视觉感知的手动放置构件时水体稳态检测方法，其特征是：在透明的容器外一侧设置相机，用手向容器内的水里放置构件，容器内水面位置﹑构件和手位于相机视野内，对相机视野中的水面位置进行标记，相机对面作为拍摄背景的容器内壁上设有一层红色的背景层；在用手向容器内的水里放置构件的过程中，使相机连续拍照，获得相机采集到的图像数据；

对图像数据进行采集的同时，进行如下检测操作：

步骤1、使用DNN网络对采集到的图像数据进行处理，获得手部的边界框和构件的边界框；

步骤2、当构件的边界框的下边界开始处于水面位置以下时，构件开始进入水中，从此时开始，获取手部的边界框中心点坐标和手部的边界框面积大小，以手部的边界框中心点坐标作为手部位置点；

当检测到手部的边界框的下边界处于水面位置以下后又开始处于水面位置以上时，手刚离开水体，此时，停止获取手部的边界框中心点坐标和手部的边界框面积大小；

步骤3、从构件开始进入水体中到手刚离开水体的过程称为构件放置过程，根据构件放置过程中采集的N帧图像数据获得手部位置点序列P＝{P₁，P₂，…，P_n，…，P_N}和手部的边界框面积序列S＝{S₁，S₂，…，S_n，…，S_N}；

步骤4、对手部位置点进行分类：根据手部的运动轨迹来分，手部位置点分为两类：第一类是竖直运动轨迹的点，第二类是水平运动轨迹的点；

步骤5、用手伸进水体过程的平均速度v1、手移出水面过程的平均速度v2、手挪动构件的平均速度v3、手挪动构件的运动幅度R、手的姿态变化特征A这5个量来描述手的运动特征F:

F＝[v1，v2，v3，R，A]；

竖直运动轨迹的点为P1＝{P₁，P₂，…，P_i,P_j,P_j+1,…,P_N}，即前i个点表示手伸进水体中放置构件的竖直运动轨迹，从第j个点到第N个点表示手移出水面时的竖直运动轨迹，则：

水平运动轨迹的点为P2＝{P_i+1,P_i+2…,P_j-2，P_j-1},即从第i+1个点到第j-1个点表示手来回挪动以调整构件位置时的水平运动轨迹，则：

手来回挪动以调整构件位置过程中，手挪动构件的运动幅度R为：

R＝max({Px_i+1,Px_i+2…,Px_j-2,Px_j-1})-min({Px_i+1，Px_i+2…,Px_j-2,Px_j-1})

式中，{Px_i+1,Px_i+2…,Px_j-2,Px_j-1}表示{P_i+1，P_i+2…，P_j-2，P_j-1}中点的横坐标的序列；

手部的边界框面积序列S＝{S₁,S₂，…,S_n,…,S_N}表征的是手的姿态变化，手的姿态变化特征A为：

步骤6、对水中的气泡进行检测，建立气泡感知模型，具体为：

步骤6.1、获取手离开水面后的图像数据序列I＝{I₁,I₂,I₃,…,I_n1，…}；

步骤6.2、根据手部位置点序列P＝{P₁,P₂,…,P_n,…,P_N}和手部的边界框面积序列S＝{S₁,S₂,…,S_n,…,S_N},叠加构件放置过程中手部的边界框的ROI区域，获得手部的运动范围，只对该运动范围水体中的气泡进行检测；

步骤6.3、使用帧差法获得气泡数量和气泡位置；

步骤6.4、令：mask_n1＝I_n1-I_n1-2，

式中，mask_n1就表示气泡的连通域；

步骤6.5、对mask_n1进行二值化，并用开运算去除孤立的小噪点，再用闭运算填充或闭合接近粘连的连通域；

步骤6.6、根据KM算法获取第n1帧图像数据和第n1-1帧图像数据中相匹配的气泡，设mask_n1上有N_n1个连通域，即有N_n1个气泡,P_n1，i1表示第i1个气泡在第n1帧图像数据上的位置，P_n1-1，i1表示第i1个气泡在第n1-1帧图像数据上的位置，则用V_n1，i1表示第i1个气泡在第n1帧图像数据上的速度，则：

式中，t₀表示每帧图像数据的时间间隔；

步骤6.7、气泡的平均速度为V_n1表示第n1帧图像数据上气泡的平均速度，则：

步骤6.8、建立气泡感知模型：用V_n1和N_n1表示第n1帧图像数据上的气泡特征；

步骤7、对水体浑浊度进行检测，建立水体浑浊度感知模型，具体为：

步骤7.1、对图像数据序列I＝{I₁，I₂，I₃，…，I_n1，…}进行处理，获得第n1帧图像数据I_n1的暗通道I_dark_n1：

式中，minimum(I_n1(R)，I_n1(B)，I_n1(G))表示逐通道取最小值；

获得图像数据I_n1的色相通道H_n1，对色相通道H_n1进行阈值分割，分割出红色背景的遮罩mask_n1:

式中，mask_n1(i2,j2)表示的是遮罩mask_n1在图像坐标(i2,j2)处的像素值，H_n(i2,j2)表示色相通道H_n1上在坐标(i2,j2)处的像素值；

对遮罩mask_n1做开运算，模板大小为9×9，去除孤立的白色噪点；

步骤7.2、建立水体浑浊度感知模型：

L_n1＝median(mask_n1×I_dark_n1)

式中，L_n1为第n1帧图像数据中水体的浑浊度，median()表示求图像像素的均值；

步骤8、设气泡特征对水体稳态的贡献权重为a,水体浑浊度对水体稳态的贡献权重为b：

建立水体稳态评估模型：

D_n1＝aN_n1lnV_n1+bexp(L_n1)

式中，D_n1为第n1帧图像数据中的水体稳态，

当D_n1为零或小于一个趋近于0的阈值时，水体达到稳态。