[发明专利]屏幕内容分析方法、装置、计算设备及存储介质

权利要求书

1.一种屏幕内容分析方法，其特征在于，所述方法包括：

基于应用图像模型库，识别屏幕图像中的活动窗口区域及其对应的应用；

基于所述应用的应用图像模型，将所述活动窗口区域划分为一个或多个文本区和非文本区；

识别所述文本区中的文字，得到字符串文本；

提取屏幕录像中的非重复帧，所述屏幕图像是所述非重复帧的屏幕图像；

其中，所述提取屏幕录像中的非重复帧的步骤包括：

从当前非重复帧开始，以设定的初始抽样间隔，进行循环抽样，直到相邻两次抽样的帧的帧序号小于或等于预定阈值，以所述相邻两次抽样中前向抽样得到的帧作为下一个非重复帧，

所述循环抽样包括：

响应于在前向抽样中查找到与当前非重复帧不相似的帧，将抽样间隔减半，并执行后向抽样；

响应于在后向抽样中查找到与当前非重复帧相似的帧，将抽样间隔减半，并执行前向抽样。

2.根据权利要求1所述的方法，其特征在于，所述基于应用的应用图像模型将所述活动窗口区域划分为一个或多个文本区和非文本区的步骤包括：

在所述应用的窗口界面模式已知的情况下，基于所述应用的窗口界面模式将所述活动窗口区域划分为一个或多个文本区和非文本区；以及/或者

在所述应用的窗口界面模式未知的情况下，基于文本和图片的固有特征将所述活动窗口区域划分为一个或多个文本区和非文本区，并且根据划分结果更新所述应用图像模型中记载的窗口界面模式。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定与所述应用对应的业务场景；

根据所述业务场景对所识别的文本进行处理。

4.根据权利要求3所述的方法，其特征在于，所述根据所述业务场景对所识别的文本进行处理的步骤包括：

根据所述业务场景将所识别的文本分类为一个或多个部分。

5.根据权利要求1所述的方法，其特征在于，所述识别所述文本区中的文字得到字符串文本的步骤包括：

对所述文本区进行行切分，得到文本行图像；

基于分隔符进行词切分，得到单词或短语图像；

基于语法和经验模型进行字符切分，得到字符图像；

计算所述字符图像的特征向量；

基于所述特征向量识别所述字符图像对应的字符或字。

6.根据权利要求5所述的方法，其特征在于，所述识别所述文本区中的文字得到字符串文本的步骤还包括：

结合词切分和行切分的结果，对所述字符或字进行组合得到所述字符串文本。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于预设的一种或多种语言识别所述文本区中的文字。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在数据库表中记录屏幕图像所对应的帧序号和在所述屏幕图像中识别的字符串文本。

9.一种屏幕内容分析装置，其特征在于，所述装置包括：

识别模块，用于基于应用图像模型库，识别屏幕图像中的活动窗口区域及其对应的应用；

区域划分模块，用于基于所述应用的应用图像模型，将所述识别模块识别的所述活动窗口区域划分为一个或多个文本区和非文本区；以及

文字识别模块，用于识别所述划分模块划分的所述文本区中的文字，得到字符串文本；

提取模块，用于提取屏幕录像中的非重复帧，以使识别模块识别的屏幕图像是非重复帧的屏幕图像；

提取模块包括抽样单元，抽样单元用于从当前非重复帧开始，以设定的初始抽样间隔，进行循环抽样，直到相邻两次抽样的帧的帧序号小于或等于预定阈值，以相邻两次抽样中前向抽样得到的帧作为下一个非重复帧，其中，循环抽样包括：响应于在前向抽样中查找到与当前非重复帧不相似的帧，将抽样间隔减半，并执行后向抽样；响应于在后向抽样中查找到与当前非重复帧相似的帧，将抽样间隔减半，并执行前向抽样。