[发明专利]一种控件识别方法和相关装置

权利要求书

1.一种控件识别方法，其特征在于，所述方法包括：

获取终端设备针对云产品发送的触发操作，所述触发操作包括所述终端设备的终端标识；

根据所述终端标识，获取所述云产品对应所述触发操作的第一显示界面；

获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板，所述分辨率模板为对所述第一控件模板进行分辨率调整得到的，具体包括：对所述第一控件模板进行缩放采样，至少获得第一分辨率模板和第二分辨率模板，所述第一控件模板、所述第一分辨率模板和所述第二分辨率模板具有一致的图像清晰度，所述第一分辨率模板的图像分辨率小于所述第一控件模板的图像分辨率，所述第二分辨率模板的图像分辨率大于所述第一控件模板的图像分辨率，所述分辨率调整为所述缩放采样，所述分辨率模板的图像分辨率与所述第一控件模板的图像分辨率不同；

根据所述第一控件模板和所述分辨率模板分别对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；

通过在所述控件区域模拟触发操作，获取所述第一控件指向的第二显示界面，所述第二显示界面用于确定向所述终端设备返回的目标显示界面。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一控件模板和所述分辨率模板对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域，包括：

根据所述第一控件模板、所述第一分辨率模板和所述第二分辨率模板分别与所述第一显示界面进行针对所述第一控件的特征点匹配，得到与所述第一控件模板对应的第一特征点识别结果，与所述第一分辨率模板对应的第二特征点识别结果和与所述第二分辨率模板对应的第三特征点识别结果；

根据所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域，包括：

综合所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果中分别识别到的特征点，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；或者，

确定所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果中分别识别到的特征点数量；将所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果中特征点数量超出阈值的特征点识别结果作为目标识别结果，根据所述目标识别结果确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于与所述云产品关联的目标显示界面触发流程，确定与所述第一显示界面相关的所述第一控件模板。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述触发操作中携带的流程标识，从多个显示界面触发流程中确定所述目标显示界面触发流程；或者，

根据所述云产品预设的流程标识，从多个显示界面触发流程中确定所述目标显示界面触发流程。

6.根据权利要求4所述的方法，其特征在于，若所述目标显示界面触发流程包括一次控件模拟操作，所述方法还包括：

将所述第二显示界面作为所述目标显示界面，并向所述终端设备返回所述第二显示界面；

若所述目标显示界面触发流程包括多次控件模拟操作，所述方法还包括：

基于所述目标显示界面触发流程确定与所述第二显示界面相关的第二控件模板；将所述第二控件模板作为所述第一控件模板，所述第二显示界面作为所述第一显示界面，执行所述获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板的操作。