[发明专利]基于草图的移动应用模型查询方法

说明书

本发明属于软件工程领域与计算机视觉领域，具体为一种基于草图的移动应用模型查询方法，预定义的草图模型语言为一组基于IFML设计的移动应用布局控件符号语言，且已经建立了一个按照IFML模型规则设计的多维数据融合软件资产库(AppRepo)；具体步骤为：用户在纸上根据预定义语言绘制的多UI跳转草图作为本发明的输入，经过预设的识别技术获得草图内静态UI与动态跳转信息；其次通过静态草图UI与库中UI的基本相似性计算结合T步相似性更新定位锚点后，将草图模型与库中模型进行相似度排名；最后模型相似度排名靠前的移动应用结果即为本方法的输出；本方法能有效地将一张多UI跳转草图匹配到一个移动应用的全部或局部。

技术领域

本发明属于软件工程领域与计算机视觉领域。本发明涉及移动应用UI动静态领域内信息与图像的特征提取技术，具体设计一种基于草图的移动应用模型查询方法。

背景技术

软件复用与测试脚本生成已经成为工业界非常重视的问题，这些工作可以促使效率的提升与人力资源成本的减少，因此这些领域也引起了研究人员的兴趣。这些问题能够让研究者对移动应用有更广、更深的理解，同时对应用中的功能进行分析后方便进一步探索功能的可用性，以此为软件测试等领域提供更多可能性，开拓更多研究方向。

在我们已有的移动应用软件资产库的基础上，如何能快速定位目的应用与应用内局部UI间的信息是实现软件复用与测试脚本生成等研究的核心，这也即是一种查询研究。在传统的查询研究领域，往往通过一些如关键词等描述性语义文本信息进行匹配，这种方式类似于搜索引擎原理的实现。然而，文本信息对于UI中各种控件位置、布局以及UI间动态跳转信息难以准确描述，即使能够描述，也难以对这些复杂的语义信息进行匹配研究。此外，对于不了解的应用或方向无法用语言描述，因此仅通过关键字等语义查询方式限制了查询的数据范围。

在这样的背景下，利用草图查询走进研究者的视野，因为草图的便捷性不仅能够利用图画多种多样的表达方式来描述复杂UI信息，还能够给查询者节约时间，他们无需太多先验领域知识即可利用草图形式绘制出查询的目标。一些研究者提出利用电子版或手写板等设备进行草图绘制并查询，这些方式都需要指定的软件平台与设备作为基础支撑，查询者若需查询则还需进行较多提前准备，也即是较为重量级，在快捷、简单、方便的轻量级场景下查询需求难以被满足。此外，大多工作针对某个UI在库中的查询，多个UI之间的关系无法同时获得，因此依然没有动态跳转信息的UI模型查询研究。

若能够利用纸上绘制的多UI间动态跳转草图拍照后识别，利用这些信息在库中做相应的查询，则无需过多提前准备且无需特殊设备的“轻量级”场景下的模型查询便可以做到。在发明之前我们已经获得一种“轻量级”草图描述方式并对草图的内容识别存储，因此如何能利用我们已有的草图识别结果将每个草图UI定位到库中并将UI间关系同时映射到库中是模型查询研究的关键。基于此，本发明提出的查询方法能够将草图UI进行较准确定位并提供模型间跳转关系的映射，同时对草图模型与库中的映射模型进行模型间对比以找到较符合用户需求的移动应用全局或局部信息。

发明内容

本发明的目的在于针对软件复用与测试脚本生成方面对于移动应用快速查询的需求，提出了一种基于草图的移动应用模型查询方法，通过一系列算法将用户绘制的多UI跳转草图转换为查询语言并提供大量移动应用数据资产库中的查询服务，旨在解决现有工作中移动应用UI查询方式偏语义级理解、对用户查询场景有要求以及传统查询方式较为耗时等问题。

为了实现上述目的，本发明所采用的的技术方案是：一种基于草图的移动应用模型查询方法，包含如下步骤：

1)本方法执行前预设一种草图建模语言的规范，给出了一组常见移动应用开发控件的草图画法，且已经提供了针对草图多种信息的识别方法。同时还提供了一个基于IFML规范设计的移动应用资产库AppRepo。用户根据所提供的草图建模语言绘制的手绘多UI跳转草图通过预设的识别方法生成草图的静态与动态信息，作为方法的输入。