[发明专利]一种基于配准的虚实融合仿真实验数据采集方法及系统

权利要求书

1.一种基于配准的虚实融合仿真实验数据采集方法，其特征在于，所述方法包括以下步骤：

步骤1，采集实际操作视频数据，并读取实际操作视频中当前帧的图像数据作为第一图像数据；

步骤2，采集虚拟实验操作视频数据，并读取虚拟实验操作视频中当前帧的图像数据作为第二图像数据；

步骤3，将第一图像数据和第二图像数据进行图像校准匹配；

步骤4，将校准匹配后的第一图像数据和第二图像数据进行融合；

步骤5，将融合后的图像数据发送到数据库中，数据采集完成。

2.根据权利要求1所述的一种基于配准的虚实融合仿真实验数据采集方法，其特征在于，在步骤1中，所述实际操作视频数据为通过视频采集设备采集当前实时实验操作步骤的视频，所述视频格式包括但不限于wmv、mp4、avi、mpg中任意一种，每帧实际操作视频数据为一帧图像，视频采集设备包括但不限于摄像头、CCD工业像机。

3.根据权利要求2所述的一种基于配准的虚实融合仿真实验数据采集方法，其特征在于，在步骤2中，所述虚拟实验操作视频数据为以视频采集设备或屏幕录像技术通过虚拟实验技术实时采集的虚拟实验操作步骤的视频，所述视频格式包括但不限于wmv、mp4、avi、mpg中任意一种，每帧虚拟实验操作视频数据为一帧图像。

4.根据权利要求3所述的一种基于配准的虚实融合仿真实验数据采集方法，其特征在于，在步骤3中，将第一图像数据和第二图像数据进行图像校准匹配的方法为：

将第一图像数据I₁和第二图像数据I₂的变换关系表示为以下的投影变换模型：

式中，m_i(i＝0,1,...7)为投影变换参数，(x,y,1)和分别表示第一图像数据和第二图像数据的对应点的坐标，将投影变换模型改为下面的形式：

计算第一图像数据和第二图像数据灰度差值的平方差：

E＝∑e²，

计算e_i对未知的投影变换参数{m₀…m₇}的偏导数：

式中D＝m₆x+m₇y+1，表示图像在点处的灰度梯度，根据梯度值构造Hessian矩阵A与梯度向量b：

则投影变换参数m的估计值m′＝(A+I)^-1b，即配准完成。

5.根据权利要求4所述的一种基于配准的虚实融合仿真实验数据采集方法，其特征在于，在步骤4中，将校准匹配后的第一图像数据和第二图像数据进行融合的方法为：

对于待融合的第一图像数据和第二图像数据,如果存在重叠区域，则配准后的图像之间重叠区域像素点的灰度值采用其重叠区域的平均值，设f代表融合后的图像，f₁和f₂分别代表待拼接的第一图像数据和第二图像数据，则有：

6.一种基于配准的虚实融合仿真实验数据采集系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

实际操作采集单元，用于采集实际操作视频数据，并读取实际操作视频中当前帧的图像数据作为第一图像数据；

虚拟实验采集单元，用于采集虚拟实验操作视频数据，并读取虚拟实验操作视频中当前帧的图像数据作为第二图像数据；

校准匹配单元，用于将第一图像数据和第二图像数据进行图像校准匹配；

数据融合单元，用于将校准匹配后的第一图像数据和第二图像数据进行融合；

数据存储单元，用于将融合后的图像数据发送到数据库中，数据采集完成。