[发明专利]一种基于机器视觉的机械式全自动鼠标操作装置

权利要求书

1.一种基于机器视觉的机械式全自动鼠标操作装置，其特征在于，包括视频采集系统、机器视觉分析系统和机械式控制系统；

所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；

所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标指示的光标存在区域，在光标存在区域进行光标追踪，对光标所在位置的对话框、对话框提示信息及输入信息进行识别，生成鼠标移动控制信号和鼠标操作控制信号并传输至机械式控制系统；

所述机械式控制系统用于采用机械式控制方式根据鼠标移动控制信号控制鼠标进行移动、根据鼠标操作控制信号控制鼠标进行相应操作。

2.如权利要求1所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，判定光标存在区域；当光标为运动状态时，则采用图像处理算法进行光标位置提取，当光标为静止状态时，则对图像进行放大，再利用特征点匹配与颜色特征进行模板匹配；得到光标存在区域后，在光标存在区域进行光标追踪。

3.如权利要求2所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对光标位于多个摄像头采集图像区域的重合区域时，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域进行光标识别，得到光标存在的图像区域后，在该光标存在区域进行光标追踪。

4.如权利要求3所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对光标位于多个摄像头采集图像区域的重合区域时，在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行光标追踪。

5.如权利要求4所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对光标所在位置的对话框进行识别具体为：

对光标存在区域，按照设定的采集参数进行样本区域采集；

对采集的样本区域进行编号，建立每一个逻辑编号与鼠标存在区域物理位置的对应映射关系；

对采集的样本区域进行特征提取，计算样本区域的色差方向梯度矢量化旋转差值；

设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；

进行预设聚类个数的基于均值的聚类，对聚类后的区域进行合并，得到基于聚类的多个区域分割；

根据得到的聚类分布的状态，进行图像的边缘分割，得到光标所在位置的对话框边界。

6.如权利要求5所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述计算样本区域的色差方向梯度矢量化旋转差值具体为：

根据梯度信息方向进行八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值。

7.如权利要求6所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统根据光标在计算机屏幕图像中的逻辑坐标及光标的逻辑坐标与物理坐标之间的双向映射关系，结合光标在计算机屏幕图像的工作区域范围，生成鼠标移动控制信号。

8.如权利要求7所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机械式控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置。