[发明专利]一种用户界面交互式流程录制方法、系统、计算机设备及可读存储介质

说明书

本发明公开了一种用户界面交互式流程录制方法、系统、计算机设备及可读存储介质，本发明能够消除基于操作系统事件来进行流程录制所带来的大量干扰，每一个录制步骤都是明确定义的，能够生成更有效的流程代码，提升流程录制的效率，更加专注业务逻辑的录制；同时也解决了录制过程中难以进行产品级扩展的问题，通过交互式的逻辑，可以支持和产品进行深度结合，支持产品级扩展，扩展出更多的产品形态，为后期产品新增功能、横向无限扩展提供了插拔式的解决方案，可以提供更好的用户体验。

技术领域

本发明涉及RPA自动化测试技术领域，尤其涉及一种用户界面交互式流程录制方法、系统、计算机设备及可读存储介质。

背景技术

用户界面流程录制(下面简称“流程录制”)主要用于在用户操作业务环境的过程中，进行行为沉淀。通过操作系统提供的能力来自动地记录下用户的行为。流程录制主要用到操作系统提供的事件机制来进行用户行为记录，通过记录用户对界面元素的交互行为来实现。

另外，用户界面元素定位主要用到Accessibility和CV (ComputerVision)两种技术。通过这两种技术，RPA或自动化测试可以自由地获取到屏幕上的用户界面元素信息。

操作系统和部分用户界面框架一般都提供了Accessibility API 用以编程地方式访问用户界面元素信息。目前这些API大多都以两个维度提供：

A、访问某个元素自身的属性。

B、通过元素导航来访问某个界面元素，如：访问父节点界面元素、访问孩子节点界面元素。

还有部分的用户界面框架没有提供AccessibilityAPI，导致无法获取到用户界面元素信息，这部分一般是采用CV技术进行定位。

对于目前出现的方法，存在以下问题：

A、通过事件监听技术来进行流程录制时会存在大量的干扰行为，比如用户偶然的对键盘鼠标进行移动、键击等操作，又或者是对元素本身进行业务无关的操作，如：移动窗口、复制粘贴文本等。

B、采用目前的录制技术无法进行深度的产品级扩展。比如扩展界面元素所支持的行为，当录制一个邮箱登陆过程时，支持弹出产品级弹窗和用户交换信息，从而更好的和产品进行深度结合。

发明内容

有鉴于此，本发明提供了一种用户界面交互式流程录制方法、系统、计算机设备及可读存储介质，用以解决上述背景技术中存在的问题。

一种用户界面交互式流程录制方法，具体包括以下步骤：

S1，根据鼠标当前的屏幕坐标确定其对应的用户界面元素及位置；

S2，根据用户界面元素及其位置确定该元素所支持的行为，用户选择用户界面元素所支持行为中其中一种或几种特定行为，程序记录下该行为并执行一次该行为，实现交互式录制；

S3，重复步骤S1-S2，实现连续录制，当录制结束时，用户按下退出录制快捷键，退出录制并保存录制内容。

优选地，步骤S1中根据鼠标当前的屏幕坐标确定其对应的用户界面元素及位置的具体步骤为：

根据鼠标当前的屏幕坐标确定出其对应的用户界面元素；

判断用户界面元素是否属于操作系统原生的界面元素，并根据判断结果从对应的API接口来定位用户界面元素的位置。

优选地，在判断用户界面元素是否属于操作系统原生的界面元素时，

若用户界面元素是操作系统原生的界面元素，则通过操作系统提供的API接口来定位用户界面元素的位置；