[发明专利]一种人机交互操作信息的获取方法及装置

摘要

本申请公开一种人机交互操作信息的获取方法及装置，其中，所述方法在当发生人机交互事件时，获取交互事件发生时的与交互事件关联的操作界面帧，并确定操作界面帧的唯一性标识图像，根据唯一性标识图像和交互事件在操作界面帧的交互位置信息确定操作定位信息，并根据操作定位信息和交互事件的动作类型生成与所述操作界面帧对应的交互动作信息，进而基于操作界面帧和交互动作信息生成与交互事件对应的子脚本，得到人机交互操作信息。通过相应的功能实体运行本申请方法及装置获取的人机交互操作信息，便可以自动模拟人机交互的行为，实现具有不同的数据结构的系统间的数据对接。

主权项

1.一种人机交互操作信息的获取方法，其特征在于，所述方法包括：当发生人机交互事件时，获取交互事件信息；所述交互事件信息包括与交互事件关联的当前操作界面帧和交互事件在所述操作界面帧中的交互位置信息；确定所述操作界面帧的唯一性标识图像；根据所述唯一性标识图像和交互位置信息确定操作定位信息；根据操作定位信息和交互事件的动作类型生成与所述操作界面帧对应的交互动作信息；基于所述操作界面帧和所述交互动作信息建立与所述交互事件对应的子脚本；根据多个交互事件对应的子脚本之间的逻辑关系，生成包含子脚本及子脚本执行顺序的人机交互操作信息。