[发明专利]界面节点定位方法及装置

说明书

本发明提供一种界面节点定位方法及装置，该方法包括：获取目标节点的匹配信息，包括文本位置信息、目标节点位置信息及匹配文本；文本位置信息为匹配文本在给定界面的布局文本中的位置信息，目标节点位置信息为目标节点在匹配文本中的位置信息；在当前界面的布局文本中匹配符合匹配文本的子文本集合；若子文本集合中包括匹配成功的目标文本，且文本位置信息一致及目标节点位置信息一致，则确定目标节点在节点列表中的位置，根据目标节点在节点列表中的位置获取目标节点。本发明提供的界面节点定位方法及装置，通过基于给定界面生成的匹配文本在当前界面的布局文本中匹配，进而获取目标节点，提高了节点定位的可靠性、精确性及定位效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种界面节点定位方法及装置。

背景技术

在智能应用终端使用过程中，存在某些场景下（比如：残障人士、开车）需要自动化操作来代替人的点击屏幕的操作。模拟操作的首要前提就是要定位检索当前需要控制的界面节点，确定其位置。

Android操作系统中，提供AccessibilityService接口，可以用来获取当前界面节点信息和模拟各种输入操作。目前，市面上存在的方案主要有两种。一种是直接记录屏幕坐标信息，在屏幕坐标信息对应的目标位置进行模拟操作，该方案较为简单，但存在明显问题：不能分辨当前界面信息，不能确定执行是否正确。另一种是借助AccessibilityService接口，获取当前界面的主要节点信息，根据id（节点编号）、text（节点文本描述）、class（描述节点信息的类）等信息确定节点，进行后续模拟操作，这种方案缺点是各种app开发规范并不一致，实现方式也各有不同，存在大量没有id、text信息或信息无价值和大量相同class的节点，导致节点很难定位准确。

发明内容

针对现有技术存在的问题，本发明提供一种界面节点定位方法及装置。

本发明提供一种界面节点定位方法，包括：获取目标节点的匹配信息，所述匹配信息包括文本位置信息、目标节点位置信息及匹配文本；其中，所述文本位置信息为所述匹配文本在给定界面的布局文本中的位置信息，所述目标节点位置信息为所述目标节点在所述匹配文本中的位置信息；获取当前界面的节点信息，根据所述当前界面的节点信息获取所述当前界面的布局文本及节点列表；在所述当前界面的布局文本中匹配符合所述匹配文本的子文本集合；若所述子文本集合中包括匹配成功的目标文本，则进一步判断所述目标文本在所述当前界面的布局文本中的位置信息是否与所述文本位置信息一致，以及判断所述目标节点在所述目标文本中的位置信息是否与所述目标节点位置信息一致；若是，则根据所述当前界面的布局文本、所述文本位置信息及所述目标节点位置信息确定所述目标节点在所述节点列表中的位置，根据所述目标节点在所述节点列表中的位置获取所述目标节点。

根据本发明提供的一种界面节点定位方法，在所述获取目标节点的匹配信息之前，所述方法还包括：基于所述给定界面，获取所述匹配文本、获取所述目标节点位置信息以及获取所述文本位置信息；根据所述匹配文本、所述目标节点位置信息及所述文本位置信息生成所述匹配信息。

根据本发明提供的一种界面节点定位方法，所述获取所述匹配文本，具体包括：确定起始节点；其中，所述起始节点为所述目标节点或所述目标节点的祖先节点，且所述起始节点和所述起始节点的子孙节点的节点总数大于预设第一阈值；获取所述起始节点及所述起始节点的子孙节点的预设关键节点信息以及节点层级关系；根据所述预设关键节点信息以及所述节点层级关系生成字符串，将所述字符串转义为正则表达式，从而得到所述匹配文本。

根据本发明提供的一种界面节点定位方法，所述预设关键节点信息包括节点id、节点文本描述text和节点类名class；在所述将所述字符串转义为正则表达式之后，所述得到所述匹配文本之前，所述方法还包括：对所述节点文本描述text中的预设对象进行正则转化，所述预设对象包括数字、时间、日期、超过预设长度的文本中的至少一种。