[发明专利]一种操作界面帧图片的显示方法及装置

说明书

本申请公开一种操作界面帧图片的显示方法及装置，首先，获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；其次，根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；然后，根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域；最后，在显示设备显示所述视觉焦点区域。通过本申请方法及装置，对操作界面帧的视觉焦点区域进行局部显示，使人快速捕捉到操作界面帧图片的焦点，便于人工干预构建操作界面帧间逻辑关系的过程。

技术领域

本申请涉及图片显示技术领域，尤其涉及一种操作界面帧图片的显示方法及装置。

背景技术

在互联网技术的实际应用中，经常涉及到获取一个系统中的数据并将其输入到另一个系统当中。例如，在电子商务领域，企业或经销商在电商平台上开设店铺，注册用户通过电商平台购买商品从而在电商平台产生订单数据。此时，便需要获取电商平台产生的订单数据并输入到企业或经销商的ERP(Enterprise Resource Planning，企业资源计划)系统或者进销存系统中，以便企业或经销商对其库存、产品及财务等数据进行管理。

上述ERP系统或者进销存系统与电商平台之间的数据传递过程，理论上可以通过EDI(Electronic Data Interchange，电子数据交换)集成技术来实现，即系统与系统之间通过特定的数据接口，采用标准化的格式，利用计算机网络进行结构化数据的传输和交换。然而，由于在开发接口的过程中，需要根据双方系统的开发特点，通过协商制定对接代码或者业务规则，因此，特定数据接口的开发需要较长的时间和相应的技术支持，开发效率低。尤其当涉及到的系统具有不同种类或多个版本时，针对每个系统都需开发出一个特定的接口，这就更加需要花费大量的时间，因而更加降低了开发效率。例如，当前不同种类或版本的ERP系统数量高达1500-2000个，每一种ERP系统与电商平台对接所需的接口都可能不同。此外，很多微小企业使用的ERP或进销存系统的开发商早已不复存在，或者系统版本老旧，压根不能支持数据接口，因而对于这类系统的接口开发更是难上加难。

由此可见，依赖EDI集成技术解决任意不同系统间的数据对接问题是不现实的。实际上，当前很多系统间的数据对接仍然通过人工录入的方式完成。例如，经销商利用人工将电商平台产生的订单数据录入到自己的ERP系统中。

基于此，申请人考虑基于发生交互事件时的操作界面帧图像获取人机交互操作信息，通过自动执行该人机交互操作信息，来自动读取一个系统中的数据并自动将数据录入另一系统中。在该技术方案中，首先，当发生人机交互事件时，获取当前操作界面帧图片，并记录事件的交互位置；其次，在交互位置附近确定一个相对于该操作界面帧具有唯一性的标识；然后，确定交互位置与标识位置的相对关系；最后，通过人工干预的方法，建立一系列交互事件对应的操作界面帧之间的逻辑关系，从而确定每幅操作界面帧对应的交互动作的执行顺序，生成人机交互信息。通过执行该人机交互信息，使计算机可以模拟用户在计算机操作界面上的操作行为，从而代替频繁反复的用户操作。

在上述人工干预建立逻辑关系的过程中，通常需要将全部交互事件对应的操作界面帧显示出来，然后构建这些操作界面帧间的逻辑关系。因此，如何显示这些操作界面帧，能够便于逻辑关系的构建，成为本领域亟待解决的技术问题。

发明内容

本申请提供了一种操作界面帧图片的显示方法及装置，以解决在获取人机交互信息过程中，如何显示采集的操作界面帧的问题。

第一方面，本申请提供了一种操作界面帧图片的显示方法，该方法包括：

获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；

根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；

根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域；