[发明专利]一种基于机器视觉的机电式全自动鼠标操作装置

权利要求书

1.一种基于机器视觉的机电式全自动鼠标操作装置，其特征在于，包括视频采集系统、机器视觉分析系统、可编程控制系统和机电一体化控制系统；

所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，每一个网格区域由调好焦距的摄像头进行图像采集，每个摄像头采集的区域为计算机屏幕面积/摄像头总数，每个摄像头负责采集面积为计算机屏幕面积除以摄像头个数再加上各个摄像头边界重复部分面积，将采集的图像数据传输至机器视觉分析系统；

所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取逻辑鼠标存在区域，在逻辑鼠标存在区域进行鼠标追踪，对逻辑鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成物理鼠标移动控制信号和物理鼠标操作控制信号并传输至可编程控制系统和机电一体化控制系统；

所述可编程控制系统用于根据物理鼠标操作控制信号控制物理鼠标左右键进行相应操作；

所述机电一体化控制系统用于根据物理鼠标移动控制信号控制物理鼠标进行移动，根据物理鼠标操作控制信号控制物理鼠标滚轮进行相应操作。

2.如权利要求1所述的基于机器视觉的机电式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，判定逻辑鼠标存在区域；当逻辑鼠标为运动状态时，则采用图像处理算法进行逻辑鼠标位置提取，当逻辑鼠标为静止状态时，则对图像进行放大，再利用特征点匹配与颜色特征进行模板匹配；得到逻辑鼠标存在区域后，在逻辑鼠标存在区域进行鼠标追踪。

3.如权利要求2所述的基于机器视觉的机电式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对逻辑鼠标位于多个摄像头采集图像区域的重合区域时，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域进行逻辑鼠标识别，得到逻辑鼠标存在的图像区域后，在该逻辑鼠标存在区域进行逻辑鼠标追踪。

4.如权利要求2所述的基于机器视觉的机电式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对逻辑鼠标位于多个摄像头采集图像区域的重合区域时，在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行逻辑鼠标追踪，追踪过程为：

对逻辑鼠标存在区域，按照设定的采集参数进行样本区域采集；

对采集的样本区域进行编号，建立每一个逻辑编号与逻辑鼠标存在区域逻辑位置的对应映射关系；

对采集的样本区域进行特征提取，计算样本区域的色差方向梯度矢量化旋转差值；

设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；

进行预设聚类个数的基于均值的聚类，对聚类后的区域进行合并，得到基于聚类的多个区域分割；

根据得到的聚类分布的状态，进行图像的边缘分割，得到逻辑鼠标所在位置的对话框边界。

5.如权利要求4所述的基于机器视觉的机电式全自动鼠标操作装置，其特征在于，所述计算样本区域的色差方向梯度矢量化旋转差值具体为：

根据梯度信息方向进行八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值。

6.如权利要求5所述的基于机器视觉的机电式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对逻辑鼠标移动图像数据进行机器视觉分析处理时，根据逻辑鼠标在全局屏幕图像中的逻辑坐标及逻辑鼠标的逻辑坐标与物理鼠标的物理坐标之间的双向映射关系，结合逻辑鼠标在全局屏幕图像的工作区域范围，生成物理鼠标移动控制信号。