[发明专利]对象操作方法和装置、计算机可读的存储介质及电子装置

说明书

本发明公开了一种对象操作方法和装置、计算机可读的存储介质及电子装置。其中，该方法包括：预先根据多个训练图像对初始神经网络进行训练得到目标网络模型，通过目标网络模型在多个训练图像中确定出目标训练图像，由于目标训练图像中的对应有目标测试图像中的目标位置和目标位置上的执行的目标操作，从而实现了可以通过在目标训练图像的目标位置上执行目标操作，完成对目标测试图像中的目标位置执行操作的测试技术效果，也就是说，基于目标神经网络的目标操作方法能通过人工录制少量样本复现之前的操作，耗费的人力和时间较少，进而解决了现有技术中，用户界面UI测试耗时较长的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种对象操作方法和装置、计算机可读的存储介质及电子装置。

背景技术

现有的技术方案中，有基于图像模板匹配的用户界面(User Interface UI)UI测试方法。其计算模板与图像特定区域的距离，如果距离小于阈值，则执行预先设定的动作。基于图像模板匹配的UI测试方法：人工录制UI操作的样本集合，针对每个场景挑选模板匹配的区域，并手工指定匹配后点击的位置。输入一张测试图像后，计算图像特定区域与模板之间的距离，如果距离小于阈值，则点击对应的位置。这种方法对背景变化较为敏感，要求配置人员对模板匹配有较好的先验知识，上手难度较大，耗费大量时间和精力。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种对象操作方法和装置、计算机可读的存储介质及电子装置，以至少解决现有技术中，用户界面UI测试耗时较长的技术问题。

根据本发明实施例的一个方面，提供了一种对象操作方法，包括：获取目标二元组集合，其中，所述目标二元组集合中的每个二元组包括相同的目标测试图像与第一图像集合中的一个不同的训练图像，所述第一图像集合包括多个训练图像，每个所述训练图像对应有所述每个所述训练图像中的位置和在所述位置上执行的操作；将所述目标二元组集合中的每个二元组输入到目标神经网络模型中，得到所述目标神经网路模型输出的一组图像相似度，其中，所述一组图像相似度与所述目标二元组集合一一对应，每个所述图像相似度用于表示对应的二元组中的所述目标测试图像与所述训练图像之间的相似度，所述目标神经网络模型是使用所述多个训练图像对初始神经网络模型进行训练得到的网络模型，所述目标神经网络模型用于将所述训练图像和正样本图像之间的相似度确定为大于第一阈值，并将所述训练图像和负样本图像之间的相似度确定为小于第二阈值，所述正样本图像与所述训练图像为相同场景下的图像，所述负样本图像与所述训练图像为不同场景下的图像，所述第一阈值大于所述第二阈值；在所述多个训练图像中确定出目标训练图像的情况下，在所述目标测试图像中与目标位置对应的位置上执行目标操作，其中，所述目标测试图像与所述目标训练图像之间的相似度是所述一组图像相似度中的最大值，所述目标训练图像对应有所述目标训练图像中的所述目标位置和所述目标位置上执行的所述目标操作。