[发明专利]文本检测、插入符号追踪以及活动元素检测

权利要求书

1.一种非瞬态计算机可读介质，存储有包括插入符号追踪步骤的计算机程序，所述程序被配置为使至少一个处理器：

确定当前屏幕截图帧与前一个屏幕截图帧不同的一个或多个区域，所述当前屏幕截图帧和所述前一个屏幕截图帧包括显示器的整个屏幕或所述整个屏幕的一部分；

计算针对所述一个或多个区域的像素变化；

对于所述一个或多个区域中的每个区域，将计算得出的所述像素变化投影到二进制矩阵；

对于每个二进制矩阵，提取闪烁的插入符号区域候选，并且结合所述二进制矩阵中的成员，其中所述成员是存在于所述二进制矩阵中的被连接的形状；以及

针对所述插入符号的形状验证所述成员的所述形状。

2.根据权利要求1所述的非瞬态计算机可读介质，其中

使用连接分量算法，每个二进制矩阵中的所述成员的所述结合被执行，并且

每个成员是像素的集合，其中每个像素被连接至所述成员中的所有其他像素。

3.根据权利要求1所述的非瞬态计算机可读介质，其中所述插入符号的形状包括矩形。

4.根据权利要求1所述的非瞬态计算机可读介质，其中当成员的形状是经验证的时，所述程序还被配置为使所述至少一个处理器：

将经验证的所述成员的位置和大小、以及与所述当前屏幕截图帧相关联的时间戳存储为经验证的成员形状数据；以及

将经验证的所述成员形状数据与确认队列进行比较。

5.根据权利要求4所述的非瞬态计算机可读介质，其中所述比较包括：确定经验证的所述成员是否以公差内的频率闪烁。

6.根据权利要求5所述的非瞬态计算机可读介质，其中所述程序还被配置为使所述至少一个处理器：

基于所述插入符号的所述成员形状数据和所述插入符号闪烁的所述频率，来确定所述插入符号已经移动至所述当前屏幕截图帧中的新位置。

7.根据权利要求5所述的非瞬态计算机可读介质，其中当经验证的所述成员以所述公差内的所述频率闪烁时，所述程序还被配置为使所述至少一个处理器：

将经验证的所述成员保存为所述插入符号；

对包括所述插入符号的坐标的图形元素进行确定；以及

设置所述图形元素作为活动元素。

8.根据权利要求1所述的非瞬态计算机可读介质，其中所述二进制矩阵用“1”表示在所述当前屏幕截图帧与所述前一个屏幕截图帧之间具有变化的像素，并且用“0”表示没有发生变化的像素。

9.根据权利要求1所述的非瞬态计算机可读介质，其中

当所述一个或多个区域的数量超过区域的预定数量时，所述当前屏幕截图帧被忽略，并且所述插入符号追踪步骤继续进行至下一个屏幕截图帧。

10.根据权利要求1所述的非瞬态计算机可读介质，其中当所述当前屏幕截图帧的多于预定百分比的像素与所述前一个屏幕截图帧不同时，所述当前屏幕截图帧被忽略，并且所述插入符号追踪步骤继续进行至下一个屏幕截图帧。

11.根据权利要求1所述的非瞬态计算机可读介质，其中所述程序还被配置为使所述至少一个处理器：

存储屏幕上的最近鼠标点击的位置的坐标；

将所述鼠标点击附近的区域、包括最后一次所述鼠标点击的所述坐标的图形元素、或两者标识为所述插入符号有可能出现的区域；以及

将所述插入符号追踪步骤关注于所述区域、或者包括所述坐标的所述图形元素。

12.根据权利要求11所述的非瞬态计算机可读介质，所述程序还被配置为使所述至少一个处理器：

检测到用户按下了tab键；以及

响应于检测到所述用户按下了所述tab键，将所述插入符号追踪步骤重新关注于所述当前屏幕截图帧中的下一个图形元素。