[发明专利]目标元素定位方法、装置以及用户界面测试方法、装置有效
申请号: | 201710997221.4 | 申请日: | 2017-10-20 |
公开(公告)号: | CN107845113B | 公开(公告)日: | 2021-07-30 |
发明(设计)人: | 杨瑾;刘泽文;杨文亮;祝中良 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06T7/73 | 分类号: | G06T7/73;G06F11/36 |
代理公司: | 北京展翼知识产权代理事务所(特殊普通合伙) 11452 | 代理人: | 屠长存 |
地址: | 310052 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标 元素 定位 方法 装置 以及 用户界面 测试 | ||
1.一种在被测对象中对目标元素进行定位的方法,包括:
图像获取步骤,获取所述目标元素的目标图像和所述被测对象的被测图像;
图像分析步骤,对所述目标图像和所述被测图像进行图像分析,以确定所述目标元素在所述被测对象中的位置,
所述图像分析步骤包括图像匹配步骤:基于表征所述目标图像的目标图像特征和所述被测图像中包含的查询图像特征,确定所述被测图像中与所述目标图像相匹配的匹配图像特征区域,所述匹配图像特征区域具有与所述目标图像特征相匹配的查询图像特征,
所述目标图像特征是所述目标图像中多个目标特征点之间的相对位置关系,所述匹配图像特征区域是基于所述被测图像中多个查询特征点定义的区域,所述多个查询特征点之间的相对位置关系与所述目标图像中多个目标特征点之间的相对位置关系相匹配,
其中,目标元素由多个图形组合而成,目标特征点是各个图形的中心点。
2.根据权利要求1所述的方法,其中,所述图像分析步骤还包括:
从所述目标图像中提取所述目标图像特征;以及/或者
从所述被测图像中提取所述查询图像特征。
3.根据权利要求1或2所述的方法,其中,所述图像分析步骤还包括:
定位步骤,基于所述匹配图像特征区域在所述被测图像中的位置,确定所述目标元素在所述被测对象中的位置。
4.根据权利要求3所述的方法,还包括,
计算所述匹配图像特征区域的中心点在所述被测图像中的坐标,作为所述目标元素在所述被测对象的坐标位置。
5.一种用户界面测试方法,包括:
定位步骤,以所述用户界面为被测对象,使用根据权利要求1-4中任何一项所述的方法,确定目标元素在所述用户界面中的位置;
测试步骤,基于所述位置执行对应于所述目标元素的操作,以测试所述目标元素的功能。
6.根据权利要求5所述的方法,还包括:
确定所述被测对象中所述目标元素的状态;
基于所述状态判断所述目标元素是否可用。
7.一种在被测对象中对目标元素进行定位的装置,包括:
图像获取装置,用于获取所述目标元素的目标图像和所述被测对象的被测图像;
图像分析装置,用于对所述目标图像和所述被测图像进行图像分析,以确定所述目标元素在所述被测对象中的位置,
所述图像分析装置包括:图像匹配装置,用于基于表征所述目标图像的目标图像特征和所述被测图像中包含的查询图像特征,确定所述被测图像中与所述目标图像相匹配的匹配图像特征区域,所述匹配图像特征区域具有与所述目标图像特征相匹配的查询图像特征,
所述目标图像特征是所述目标图像中多个目标特征点之间的相对位置关系,所述匹配图像特征区域是基于所述被测图像中多个查询特征点定义的区域,所述多个查询特征点之间的相对位置关系与所述目标图像中多个目标特征点之间的相对位置关系相匹配,
其中,目标元素由多个图形组合而成,目标特征点是各个图形的中心点。
8.根据权利要求7所述的装置,其中,所述图像分析装置还包括:
目标图像特征提取装置,用于从所述目标图像中提取所述目标图像特征;以及/或者
查询图像特征提取装置,用于从所述被测图像中提取所述查询图像特征。
9.根据权利要求7或8所述的装置,其中,所述图像分析装置还包括:
定位子装置,基于所述匹配图像特征区域在所述被测图像中的位置,确定所述目标元素在所述被测对象中的位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710997221.4/1.html,转载请声明来源钻瓜专利网。