[发明专利]基于深度信息的泡沫浮选液位监测和工况识别方法及系统

权利要求书

1.一种基于深度信息的泡沫浮选液位监测和工况识别方法，其特征在于，包括以下步骤：

步骤一：从软硬件方面构建基于kinect的泡沫浮选工况监测系统；

步骤二：采集、处理并保存由kinect获取的浮选泡沫颜色数据和深度数据；

步骤三：对步骤二获得的颜色数据和深度数据进行特征提取，结合颜色数据和深度数据提取泡沫的特征：颜色、面积、体积、速度、破碎率；

步骤四：采用分布拟合方法对步骤二获得的深度数据进行统计分析；采用参数估计方法获取泡沫表层液位特征；进而获得泡沫表层液位特征与溢流槽边沿高度之间的关系，用于泡沫浮选液位的在线监测与工况识别；

步骤五：将步骤三获取的泡沫特征构成特征向量，采用改进的k-means算法进行离线的聚类分析，得到若干个聚类中心；实时提取浮选现场的泡沫特征，并与聚类中心进行实时匹配，在线获取当前浮选的工况。

2.根据权利要求1所述的基于深度信息的泡沫浮选液位监测和工况识别方法，其特征在于，所述步骤一包括以下子步骤：

步骤1.1：从硬件方面构建基于kinect的泡沫浮选工况监测系统，硬件包括kinect传感器、高频光源、计算机，将kinect传感器固定于距浮选槽液面1.2m-3.5m范围内，其摄像头所在平面与浮选槽底面平行；高频光源为kinect传感器采集颜色数据提供照明，将采集到的颜色数据和深度数据流通过USB数据线传送至计算机，计算机实现数据处理、实时工况监测及其结果显示；

步骤1.2：从软件方面构建基于kinect的泡沫浮选工况监测系统，在跨平台框架Openni下，采用交互式编程接口，以实现颜色数据和深度数据流的实时获取、处理、保存以及特征提取和工况识别。

3.根据权利要求1所述的基于深度信息的泡沫浮选液位监测和工况识别方法，其特征在于，所述步骤二包括以下子步骤：

步骤2.1：采集数据；

(1)设置数据格式；

将颜色数据流设定为RGB888，分辨率为a×b，a×b表示水平方向上的像素数量乘以垂直方向上的像素数量，帧率为30FPS；将深度数据流格式设定为PIXEL_FORMAT_DEPTH_1_MM格式，数据精度为毫米，分辨率为a×b；帧率为30FPS；

(2)硬件对准颜色数据与深度数据；

采用跨平台框架Openni下的“Alternative View”工具，校正颜色摄像头与深度摄像头的视角，以实现颜色数据流与深度数据流在目标视场上的对准；

(3)软件对准颜色数据与深度数据；

启动kinect设备进行图像采集；采用步骤(1)设定的数据格式同时创建颜色数据流和深度数据流，得到时序对准的两种数据：a×b×3阶颜色矩阵C和a×b阶深度矩阵D；

步骤2.2：处理数据；

(1)获取深度数据中的深度信息；

由kinect传感器获取的深度矩阵D是16位整型数据，其高13位存储的是深度信息，而低3位存储的是索引信息，通过移位操作获取深度信息：

D₁＝D/2³公式1

式中D₁为仅存储了深度信息的深度矩阵；

(2)结合颜色数据对深度数据进行滤波补全处理；

采用联合双边滤波方法对深度矩阵D₁进行滤波处理，将由于遮挡缺失的深度图像补全，得到滤波后的深度矩阵D₂，其在像素点(x,y)处的深度值D₂(x,y)为：

式中Ω₁为所求像素点(x,y)的滤波参考邻域，x∈[1,a],y∈[1,b]，(i₁,j₁)∈Ω₁，i₁∈[x-r₁,x+r₁],j₁∈[y-r₁,y+r₁]，r₁为邻域半径，D₁(i₁,j₁)为深度矩阵D₁在像素点(i₁,j₁)处的深度值，w_p为归一化参数：

式中w(i₁,j₁)为所求像素点(x,y)的滤波参考邻域Ω₁内像素点(i₁,j₁)对于所求像素点的权值，由深度图像空间域权值w_s和彩色图像灰度域权值w_r组成，即：

w(i₁,j₁)＝w_s(i₁,j₁)×w_r(i₁,j₁)公式4

其中：

其中，σ_r和σ_s分别为权值w_s和w_r对应的高斯函数标准差，Gray(x,y)、Gray(i₁,j₁)分别为像素点(x,y)及其滤波参考邻域Ω₁内像素点(i₁,j₁)处的灰度值，计算公式为：

Gray(x,y)＝0.02989×C(x,y,1)+0.5870×C(x,y,2)+0.1149×C(x,y,3)公式7

其中C(x,y,1)、C(x,y,2)、C(x,y,3)分别为a×b×3阶颜色矩阵C中R、G、B颜色分量的a×b阶矩阵中像素点(x,y)的颜色值，遍历所有像素点得到灰度矩阵Gray；

选取高斯函数标准差σ_r和σ_s，在滤波参考邻域Ω₁内，消除被遮挡区域缺失的深度信息和噪声点；

(3)获取反映泡沫表层距浮选槽槽底距离H_h的深度矩阵D′；

H_h表示视场内泡沫表层像素点(x,y)距浮选槽槽底的距离，由如下公式获得：

H_h＝H_b-H_d 公式8

其中H_b为kinect传感器摄像头所在平面到浮选槽槽底的距离，H_d为视场内泡沫表层像素点(x,y)到kinect传感器摄像头所在平面的距离，在kinect传感器摄像头所在平面与浮选槽底面平行的情况下，H_d即为由kinect传感器获取的深度矩阵D经移位和滤波补全后深度矩阵D₂中对应像素点(x,y)的值，即H_d＝D₂(x,y)，

获取反映H_h的像素点(x,y)深度值D′(x,y)为：

D′(x,y)＝H_b-D₂(x,y) 公式9

步骤2.3：保存数据；

将颜色矩阵C和深度矩阵D′进行存储，以Motion JPEG AVI编码方式存取颜色数据，以Motion JPEG 2000(16位)编码方式存储深度数据。