[发明专利]图片识别并操作的方法、装置、计算机设备及存储介质有效
申请号: | 201911135204.5 | 申请日: | 2019-11-19 |
公开(公告)号: | CN110909739B | 公开(公告)日: | 2021-01-08 |
发明(设计)人: | 陈华忠;陈坤龙;张宝园 | 申请(专利权)人: | 广东润联信息技术有限公司 |
主分类号: | G06K9/32 | 分类号: | G06K9/32;G06K9/62;G06T7/73 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深圳市深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图片 识别 操作 方法 装置 计算机 设备 存储 介质 | ||
1.一种图片识别并操作的方法,其特征在于,包括:
当接收到需要操作的网页元素的元素信息时,判断所述元素信息中是否包含所述网页元素的元素图片;
若包含所述网页元素的元素图片,则截取当前网页为网页图片;
查找所述元素图片在所述网页图片上的坐标;
基于查找到的坐标,对所述网页上的所述网页元素进行定位,并在定位到所述网页元素后,对相应的网页元素进行自动化测试;
所述查找所述元素图片在所述网页图片上的坐标,包括:
通过opencv在网页图片中查找元素图片的位置;
通过元素图片的大小和元素图片的位置计算出该元素图片在网页图片上的坐标;
所述通过元素图片的大小和元素图片的位置计算出该元素图片在网页图片上的坐标,包括:
获取元素图片的宽度和长度;
将元素图片的左上角横坐标加上元素图片宽度的一半作为元素图片中心坐标的横坐标;
将元素图片的左上角纵坐标加上元素图片长度的一半作为元素图片中心坐标的纵坐标;
所述查找所述元素图片在所述网页图片上的坐标,包括:
若在所述网页图片上查找到多个所述元素图片时,则查找所述网页图片上从上至下、从左至右的第一个元素图片的坐标;
所述通过opencv在网页图片中查找元素图片的位置,包括:
对元素图片与所述网页图片进行匹配识别;
获取所述网页图片中与所述元素图片相似度超过预设阈值的区域;
将所述区域的位置作为元素图片的位置;
所述自动化测试包括:点击、输入或断言,通过selenium.webdriver.common.action_chains的鼠标事件,点击坐标或者点击坐标后输入文本,从而实现点击或输入的测试;
所述selenium.webdriver.common.action_chains的鼠标事件包括:单击鼠标左键;点击鼠标左键,不松开;点击鼠标右键;双击鼠标左键;拖拽到某个元素然后松开;拖拽到某个坐标然后松开;按下某个键盘上的键;松开某个键;鼠标从当前位置移动到某个坐标;鼠标移动到某个元素;移动到距某个元素多少距离的位置;执行链中的所有动作;在某个元素位置松开鼠标左键;发送某个键到当前焦点的元素;发送某个键到指定元素;
还包括:
当断言方式是图片断言,并在所述网页图片查找到所述元素图片时,则返回断言成功,未找到则返回断言失败。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东润联信息技术有限公司,未经广东润联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911135204.5/1.html,转载请声明来源钻瓜专利网。