[发明专利]文本检测、插入符号追踪以及活动元素检测

说明书

公开了用于计算系统的键入和/或粘贴文本的检测、插入符号追踪以及活动元素检测。与计算系统相关联的屏幕上的、用户一直在键入或粘贴文本的位置可以被标识，该文本潜在地包括热键或不会导致可见字符出现的其他键，并且屏幕上的发生了键入或粘贴的物理位置可以基于出现了一个或多个字符的位置、光标正在闪烁的位置或两者的当前分辨率而被提供。这可以通过标识屏幕上发生了变化的位置并且对这些位置执行文本识别和/或插入符号检测来完成。键入或粘贴活动的物理位置允许确定在屏幕上显示的应用中的活动元素或关注元素。

相关申请的交叉引用

本申请要求于2020年5月1日提交的美国非临时专利申请第16/864,629号的权益及作为其继续申请的、于2020年5月4日提交的美国非临时专利申请第16/865,832号的权益。这些早前提交的申请的主题以其整体内容通过引用并入于此。

技术领域

本发明大体上涉及计算系统操作检测，并且更具体地涉及用于计算系统的键入和/或粘贴文本的检测、插入符号(caret)追踪以及活动元素检测。

背景技术

当用户与计算系统的输入设备交互时，虽然按键(key press)可以通过键挂钩(hooking)来确定，但可能无法知道用户正在键入屏幕上的哪个元素。因此，可能无法知道屏幕上的活动元素是什么。因此，用于监测与计算系统的用户交互的改进途径可以是有益的。

发明内容

本发明的某些实施例可以提供对本领域中尚未经当前检测技术完全标识、了解或解决的问题和需求的解决方案。例如，本发明的一些实施例涉及用于计算系统的键入和/或粘贴文本的检测、插入符号追踪以及活动元素检测。

在一个实施例中，一种包括键入文本检测逻辑的计算机程序被实施在非瞬态计算机可读介质上。该程序被配置为使至少一个处理器生成键盘字符队列，该键盘字符队列包括在时间窗口期间发生的按键事件，以及确定当前屏幕截图帧与前一个屏幕截图帧不同的一个或多个区域(region)。当前屏幕截图帧和前一个屏幕截图帧包括显示器的整个屏幕或整个屏幕的一部分。该程序还被配置为使至少一个处理器在一个或多个所确定的区域中提取一个或多个连接成员，并且对所提取的一个或多个连接成员执行OCR，从而产生一个或多个识别字符、一个或多个识别字符序列或两者，以及相应位置(position)。该程序还被配置为使至少一个处理器将一个或多个识别字符、一个或多个识别字符序列或两者与键盘字符队列进行比较；以及当字符或字符序列与键盘字符队列的字符或字符序列相匹配时，从键盘字符队列中移除该字符或字符序列。

在另一实施例中，一种用于机器人流程自动化的键入文本检测的计算机实现的方法包括：由RPA机器人生成键盘字符队列，该键盘字符队列包括在时间窗口期间发生的按键事件。按键事件包括被按下的键的字符和该键被按下的时间。该计算机实现的方法还包括：由RPA机器人确定当前屏幕截图帧与前一个屏幕截图帧不同的一个或多个区域。当前屏幕截图帧和前一个屏幕截图帧包括显示器的整个屏幕或整个屏幕的一部分。该计算机实现的方法还包括：由RPA机器人在一个或多个所确定的区域中提取一个或多个连接成员，并且对所提取的一个或多个连接成员执行OCR，从而产生一个或多个识别字符、一个或多个识别字符序列或两者，以及相应位置。附加地，该计算机实现的方法包括：由RPA机器人将一个或多个识别字符、一个或多个识别字符序列或两者与键盘字符队列进行比较。当字符或字符序列与键盘字符队列的字符或字符序列相匹配时，该计算机实现的方法包括：由RPA机器人从键盘字符队列中移除字符或字符序列；以及由RPA机器人将当前屏幕截图帧中的具有位置的图形元素设置为活动元素，该位置包括匹配的字符或字符序列的位置。