[发明专利]一种确定操作界面帧的唯一性标识的方法及装置

权利要求书

1.一种确定操作界面帧的唯一性标识的方法，其特征在于，所述方法包括：

获取待处理操作界面帧和与所述待处理操作界面帧关联的人机交互事件在所述操作界面帧的交互位置信息；

根据交互位置信息在所述操作界面帧内选择一块或通过位置布局关联的多块区域；

将所述一块或通过位置布局关联的多块区域对应的图像与操作界面帧进行像素比对；

根据比对结果，确定相对于操作界面帧具有唯一性的所述一块或通过位置布局关联的多块区域对应的图像为操作界面帧的唯一性标识。

2.根据权利要求1所述的方法，其特征在于，所述根据交互位置信息在所述操作界面帧内选择一块或通过位置布局关联的多块区域之前，所述方法还包括：

根据所述操作界面帧的全部像素点的灰度值确定二值化阈值；

根据所述二值化阈值对操作界面帧进行二值化转换。

3.根据权利要求1所述的方法，其特征在于，所述根据交互位置信息在所述操作界面帧内选择一块或通过位置布局关联的多块区域，包括：

根据所述交互位置信息确定交互位置；

在所述交互位置的预设区域内选择一块区域或通过位置布局关联的多块区域；

当所述比对结果显示已选择的一块区域或通过位置布局关联的多块区域对应的图像相对于操作界面帧不具有唯一性时，在所述预设区域内选择另一块区域；所述另一块区域与所述已选择的一块区域或多块区域具有位置布局关联。

4.根据权利要求1所述的方法，其特征在于，按照下述步骤确定所述一块或通过位置布局关联的多块区域对应的图像相对于所述操作界面帧是否具有唯一性：

如果所述操作界面帧的其余区域中存在与已选择的一块区域对应的图像像素相同的区域，或者，所述操作界面帧的其余区域中存在与已选择的通过位置布局关联的多块区域对应的图像像素相同的区域，并且所述相同的区域间的位置布局与所述多块区域的位置布局相同，确定已选择的一块或通过位置布局关联的多块区域对应的图像相对于所述操作界面帧具有唯一性。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述选择的区域的形状为矩形。

6.根据权利要求1所述的方法，其特征在于，所述确定相对于操作界面帧具有唯一性的所述一块或通过位置布局关联的多块区域对应的图像为操作界面帧的唯一性标识之后，所述方法还包括：

在所述操作界面帧上为所述唯一性标识包括的一块或通过位置布局关联的多块区域对应的图像添加标注。

7.一种确定操作界面帧的唯一性标识的装置，其特征在于，所述装置包括：

获取单元，用于获取待处理操作界面帧和与所述操作界面帧关联的人机交互事件在所述操作界面帧的交互位置信息；

选择单元，用于根据交互位置信息在所述操作界面帧内选择一块或通过位置布局关联的多块区域；

比对单元，用于将所述一块或通过位置布局关联的多块区域对应的图像与操作界面帧进行像素比对；

确定单元，用于根据比对结果，确定相对于操作界面帧具有唯一性的所述一块或通过位置布局关联的多块区域对应的图像为操作界面帧的唯一性标识。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

图像处理单元，用于根据所述操作界面帧的全部像素点的灰度值确定二值化阈值；

根据所述二值化阈值对操作界面帧进行二值化转换。

9.根据权利要求7所述的装置，其特征在于，所述选择单元具体用于：

根据所述交互位置信息确定交互位置；

在所述交互位置的预设区域内选择一块区域或通过位置布局关联的多块区域；

当所述比对结果显示已选择的一块区域或通过位置布局关联的多块区域对应的图像相对于操作界面帧不具有唯一性时，在所述预设区域内选择另一块区域；所述另一块区域与所述已选择的一块区域或多块区域具有位置布局关联。

10.根据权利要求7所述的装置，其特征在于，所述确定单元具体用于：

如果所述操作界面帧的其余区域中存在与已选择的一块区域对应的图像像素相同的区域，或者，所述操作界面帧的其余区域中存在与已选择的通过位置布局关联的多块区域对应的图像像素相同的区域，并且所述相同的区域间的位置布局与所述多块区域的位置布局相同，确定已选择的一块或通过位置布局关联的多块区域对应的图像相对于所述操作界面帧具有唯一性。