[发明专利]基于运动视觉的工业加工系统

摘要

本发明涉及基于运动视觉的工业加工系统，包括中央控制平台以及工件进料系统、视频采集模块、存储模块、视频提取模块、视频预处理模块、计时器、视频分帧模块、视频运动补偿模块、运动工件图像提取模块、工件匹配模块和显示模块；视频采集模块正对工件进料系统设置且视频采集模块连接存储模块，视频提取模块连接存储模块和视频预处理模块，视频预处理模块连接视频提取模块和视频分帧模块，视频运动补偿模块连接视频分帧模块和运动工件图像提取模块，视频分帧模块连接计时器，工件匹配模块连接运动工件图像提取模块和显示模块。视频运动补偿模块对视频做运动补偿，消除视频采集模块抖动对工业加工件提取的干扰，有效提取了运动中的工业加工件信息。

主权项

1.基于运动视觉的工业加工系统，其特征在于，包括中央控制平台以及分别连接中央控制平台的工件进料系统、视频采集模块、存储模块、视频提取模块、视频预处理模块、计时器、视频分帧模块、视频运动补偿模块、运动工件图像提取模块、工件匹配模块和显示模块；所述视频采集模块正对工件进料系统设置且视频采集模块连接存储模块，所述视频提取模块分别连接存储模块和视频预处理模块，所述视频预处理模块分别连接视频提取模块和视频分帧模块，所述视频运动补偿模块分别连接视频分帧模块和运动工件图像提取模块，所述视频分帧模块连接计时器，所述工件匹配模块分别连接运动工件图像提取模块和显示模块；其中，所述中央控制平台，一方面，接收外部参数输入，以控制工件进料速度、视频分帧的时间间隔；另一方面，根据外部参数设置，控制视频采集模块、存储模块、视频提取模块、视频预处理模块、计时器、视频分帧模块、视频运动补偿模块、运动工件图像提取模块和显示模块；所述视频采集模块，用以对工件进料系统输入的加工工件进行视频采集和编号，并将编号的工件输入视频保存到存储模块中；所述存储模块，一方面存储正品工件的原始图像，一方面存储视频采集模块采集的编号的工件输入视频；所述视频提取模块，用于提取存储模块中编号的视频，并发送给视频预处理模块；所述视频预处理模块，用以利用高斯滤波滤除编号视频中的噪声，并发送给视频分帧模块处理；所述计时器，根据预设时间间隔，发送时间提醒信息至视频分帧模块；所述视频分帧模块，根据接收的时间提醒信息，对接收的滤噪编号视频进行分帧处理，以得到若干独立的预处理图像；其中，视频分帧过程包括如下步骤：(1)按照计时器发送的时间提醒信息，将滤噪后的视频分割成若干独立编号的原始帧图像St(i,j)，并由所有分割数目的各原始帧图像St(i,j)构成原始图像S(i,j)；其中，t∈[1,T]，T表示视频被分割的帧图像数目；(2)对原始图像S(i,j)中的各原始帧图像St(i,j)以预设倍数放大其像素值，并对放大后的各原始帧图像St(i,j)做灰度化处理，得到对应的灰度帧图像Yt(i,j)，其中，原始图像S(i,j)对应的灰度图像为Y(i,j)；Yt(i,j)＝0.299×r(i,j)+0.587×g(i,j)+0.114×b(i,j)；其中，r(i,j)、g(i,j)、b(i,j)分别对应原始帧图像St(i,j)的颜色空间三维坐标中的红、绿、蓝颜色分量，Yt(i,j)是该像素点对应的灰度值；(3)对灰度图像Y(i,j)中的各灰度帧图像Yt(i,j)进行预处理，得到对应的预处理帧图像It(i,j)和预处理图像I(i,j)，并采用高斯滤波分别对各预处理帧图像It(i,j)进行处理；其中，高斯函数为均值是零的二维高斯函数g(i,j)，其中，其使用的图像模板算子为所述运动工件图像提取模块，用于提取预处理图像中的运动工件，其中，运动工件图像的提取过程依次包括如下步骤：(a)建立背景像素模型M(i,j)，M(i,j)＝{v1,v2,…,vN}；其中，vk(i,j)表示图像(i,j)位置上的像素值，k是背景像素样本中的序号，M(i,j)表示背景图像(i,j)位置上的N个样本观察值；(b)根据背景像素模型M(i,j)进行分类，建立以v(i,j)为中心，以R为半径的球SR(v(i,j))，进行比较并分类；其中，比较分类过程如下：当处在球SR(v(i,j))以内的样本观察值的数量K不小于基数Kmin，即K≥Kmin时，则判定当前像素v(i,j)为背景点；其中，K表示为K＝{SR(v(i,j))∩{v1,v2,…,vN}}；(c)对背景像素模型M(i,j)进行初始化，在第一帧图像中随机选择相邻像素值与目标像素的样本进行混合，M1(i,j)＝{v1(y|y∈NG(i,j))}，每一个相邻位置y上的像素通过同样的方式被随机的选取，M1(i,j)表示第一帧图像序号的背景模型，NG(i,j)表示与像素位置(i,j)相邻的像素；(d)更新背景像素模型M(i,j)，并采用保守更新策略，配合着向被前景区域遮挡的像素注入空间相邻像素信息实现更新，使用v(i,j)更新背景模型M(i,j)，随机的选择样本数量为N中的一个像素值进行更新；每次对背景模型进行更新时，以随机的更新判定为背景的像素位置上的模型，依然保留在模型中的概率P(t,t+dt)为：N为样本数量；所述视频运动补偿模块，用以对接收到的运动工件图像提取结果进行补偿，其中，运动补偿的过程依次包括如下步骤：步骤1，根据背景模型M、当前帧图像I以及邻域窗口内的像素对比计算结果，得到偏移量ε(d)；其中，偏移量ε(d)计算公式如下：其中，wx、wy是与邻域窗口相关的参数，窗口的尺寸表示为2(wx+1)×2(wy+1)，(ux,uy)为背景图像中的特征角点，M表示背景模型，I表示当前帧图像，d＝[dx dy]T；步骤2，考察当前帧图像I中特征角点(ux,uy)周围的像素点，计算得到具有最小偏移量ε(d)的像素点(ux1,uy1)，并把该像素点(ux1,uy1)当作对应背景点(ux,uy)的像素点，得到像素(ux,uy)在当前帧图像I中的偏移量d，其中，偏移量d计算如下：d＝(ux1‑ux,uy1‑uy)；步骤3，计算多个背景图像上特征角点的位移均值S1以及位移中值S2，并以所得位移均值和位移中值的平均值作为整个背景图像的偏移量S；其中，位移均值S1、位移中值S2和偏移量S的计算公式如下：N为样本数量；步骤4，利用偏移量S修正背景模型，并提取运动工件F，其中，运动工件F提取公式如下：F{SR(v(i,j))∩M(i+dx,j+dy)}；所述工件匹配模块，用以将提取的运动工件与存储模块中已存的正品工件图像进行匹配，匹配一致时，发送加工工件为正品信息给显示模块显示，否则，显示模块显示加工工件为次品。