[发明专利]鼠标光标影像侦测比对与回馈状态判断方法

说明书

本发明公开了一种鼠标光标影像侦测比对与回馈状态判断方法，其是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，该方法包含先取得用户设定的光标前景图像与背景图像，并选用算法将前景图像与背景图像生成一光标屏蔽后，再读取鼠标光标影像套用光标屏蔽作样型比对，可将比对结果的信息与鼠标光标回馈状态回传至软件控制系统，提供后续修正系统进行对应的鼠标光标处理程序，同时可确认鼠标光标的移动是否符合回馈与修正系统所操控的位置，以完成鼠标光标的闭回路控制，提供更精确的机台控制程序，也可用来记录用户操作流程或是提供撷取大量用户界面信息的中间媒介。

技术领域

本发明提供一种鼠标光标影像侦测比对与回馈状态判断方法，尤指可通过图像处理单元读取机台操作画面中的鼠标光标影像进行侦测比对，并将比对结果的信息与鼠标光标回馈状态提供给后续修正系统进行对应的处理程序，以完成鼠标光标的闭回路控制。

背景技术

现今信息科技的进步、网络的发达与计算机运算能力的大幅提升，以及数据搜集和储存技术持续地改进，也加速了大数据的累积、记录与取得，并在工业生产机台利用云端开发大数据应用时，其中一个重要任务即是在产线机台(或称为云端终点端)处搜集相关机台的数据，由于许多重要数据来自于机台软件的用户界面，操作员会在用户界面上进行许多画面的操控，这类的操作行为将有助于了解目前操作员正在进行的机台数据调整、机台程序界面相关数据撷取及程序相关参数设定等数据搜集与分析应用。

一般机台的用户界面是系统和操作员之间进行互动和信息交换的媒介，包含人机互动与图形用户界面，使系统可通过操作员对键盘、鼠标、触摸板等数据输入的装置操作所传送的信号来控制机台上的操作画面，但是，该通过鼠标单向传送的信号控制时，常会因欲操作的操作系统资源的限制而遗失信号，导致无法正确操控鼠标的光标；若是旧型机台要升级时亦会有其硬设备扩充与软件系统修改的困难性，并在搜集这类机台上的鼠标操控数据时，除了会影响到其处理器的负载之外，计算机配备上的资源也容易受到许多限制，包括现行机台程序的处理程序与效能等；此外，基于商业机密、软硬件保密协议、运算资源等限制，并无法以侵入式数据撷取的方式在目标系统上装载相关鼠标操控的回馈程序，且鼠标光标移动的速度亦很可能因对方系统设定上的差异而出现非一致性的移动，以致使鼠标光标移动的速度无法正确预测而产生误差，上述种种因素均将不利于进行取得用户界面上大量的数据的搜集，则有待从事于此行业者重新设计来加以有效解决。

发明内容

本发明的主要目的在于基于非侵入式数据撷取系统可以不介入任何生产机台的条件下，通过图像处理单元侦测出目标机台端实际操控鼠标于操作画面中的鼠标光标影像，并套用光标屏蔽作样型比对后，可将比对结果的信息与鼠标光标回馈状态回传至软件控制系统，提供后续修正系统进行对应的处理程序，可确保其传送与控制鼠标移动的正确性，以完成鼠标光标的闭回路控制，如此不但不影响目前机台的生产与负载，并在鼠标光标的控制与监控上可提供一个回馈的修正机制，让鼠标光标在中央处理器或操作系统调配资源的同时，提供更为正确且可靠的鼠标光标位置信息，以及更精确的机台控制程序，也可用来记录用户操作流程、行为，或是提供撷取大量用户界面信息的中间媒介。

本发明的次要目的在于图像处理单元可搭配比对运算提供单一或多个位置、个数与稳定程度信息来设计鼠标光标位置回馈状态与修正流程，包含用户设定的光标前景与背景图像，并套用一光标屏蔽，在意区域与不在意区域的设计、通过图像直方图于横轴上的各亮度值区间的间距取得预设门坎值的概念、比对单元设计流程与线扫描的比对方式，而鼠标光标回馈状态机制的判断流程中，通过图像处理单元提供的比对结果移动鼠标光标，包含整个设计流程中检测鼠标光标的稳定程度、多重位置、多个鼠标光标判断、过去鼠标光标移动的分析、鼠标光标返回起始位置再移动至目标位置的复原方式、安全区域的使用方式、鼠标光标位置补偿、错误分析或其他相关鼠标光标状态等。