[发明专利]录制脚本的生成方法和装置及电子装置

权利要求书

1.一种录制脚本的生成方法，其特征在于，包括：

在目标终端的触控屏幕上获取目标触控操作，其中，所述触控屏幕上显示目标应用的应用界面；

在所述目标触控操作为点击操作的情况下，根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象包括：

获取所述应用界面上的各个静态对象所在的区域，包括：识别所述应用界面上的按钮对象所在的区域，其中，所述各个静态对象包括所述按钮对象；和/或

识别所述应用界面上的文字对象所在的区域，其中，所述各个静态对象包括所述文字对象；

在所述各个静态对象包括所述按钮对象的情况下，所述识别所述应用界面上的按钮对象所在的区域，包括：通过跨平台计算机视觉库识别所述应用界面上的所述按钮对象所在的区域，其中，所述跨平台计算机视觉库安装在所述目标终端上；

在所述各个静态对象包括所述文字对象的情况下，所述识别所述应用界面上的文字对象所在的区域，包括：通过光学字符识别OCR模块识别所述应用界面上的文字对象所在的区域；

在所述目标触控坐标位于所述各个静态对象中的目标静态对象所在的区域中的情况下，将所述目标静态对象确定为所述目标操作对象；

所述根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象还包括：获取所述应用界面上的各个动态对象所在的区域包括：识别所述应用界面上的高亮对象所在的区域，其中，所述各个动态对象包括所述高亮对象；

在所述目标触控坐标位于所述各个动态对象中的目标动态对象所在的区域中的情况下，将所述目标动态对象确定为所述目标操作对象；

所述根据所述目标触控操作的目标触控坐标，确定所述点击操作的目标操作对象还包括：通过预先训练好的目标神经网络识别模型，在所述应用界面上识别出除静态对象和动态对象之外的各个有效操作对象所在的区域；

在所述目标触控坐标位于所述各个有效操作对象中的目标有效操作对象所在的区域中的情况下，将所述目标有效操作对象确定为所述目标操作对象；

在所述目标应用的录制脚本中记录目标录制信息，其中，所述目标录制信息包括：所述触控坐标和目标操作信息，所述目标操作信息用于表示对所述目标操作对象执行了所述目标触控操作的脚本信息；

在所述目标操作对象为静态对象时，所述目标操作信息包括所述文字对象的内容和识别类型；

在所述目标操作对象为动态对象时，所述目标操作信息包括对所述高亮对象的操作信息。