[发明专利]地图数据获取方法、计算机可读存储介质及终端设备在审
申请号: | 201811340202.5 | 申请日: | 2018-11-12 |
公开(公告)号: | CN109670000A | 公开(公告)日: | 2019-04-23 |
发明(设计)人: | 吴壮伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/29 | 分类号: | G06F16/29;G06F16/951;G06F16/9537 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 高星 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网络爬虫 地图数据 第三方 线段 计算机可读存储介质 边界约束条件 地图数据获取 目标区域 线性函数 终端设备 地图坐标系 爬虫 闭合区域 获取目标 无效数据 计算量 实时性 调用 服务器 | ||
1.一种地图数据获取方法,其特征在于,该方法包括:
获取目标区域的边界;
根据所述目标区域的边界,确定网络爬虫的爬取区域,所述爬取区域为多条线段构成的闭合区域,所述爬取区域包含所述目标区域;
针对所述多条线段中的任一线段所对应的直线,确定所述直线在第三方地图所对应的地图坐标系中的线性函数;
根据所述多条线段所对应的线性函数,建立网络爬虫爬取所述第三方地图的地图数据的边界约束条件;
调用所述第三方地图的接口,并根据所述边界约束条件,通过网络爬虫爬取所述第三方地图的地图数据。
2.根据权利要求1所述的地图数据获取方法,其特征在于,所述根据所述目标区域的边界,确定网络爬虫的爬取区域包括:
在所述目标区域的边界上选取多个点;
对所述多个点中任意相邻的两个点进行连接,获得一个闭合区域,所述闭合区域为所述网络爬虫的爬取区域。
3.根据权利要求1所述的地图数据获取方法,其特征在于,所述根据所述目标区域的边界,确定网络爬虫的爬取区域包括:
在所述第三方地图上建立网格,所述网格由多个连续但不重叠的矩形区域构成;
根据所述网格和所述目标区域的边界,在所述网格中确定多个矩形区域,其中,针对任一矩形区域,所述矩形区域与所述目标区域具有重叠部分;
根据所述多个矩形区域,确定网络爬虫的爬取区域。
4.根据权利要求1-3任一项所述的地图数据获取方法,其特征在于,所述通过网络爬虫爬取所述第三方地图的地图数据包括:
建立建筑物列表、道路列表和交叉路口列表;
在所述目标区域中选取起始点,通过网络爬虫爬取以所述起始点为中心,以预设长度为半径的圆的范围内的所有建筑物、道路和交叉路口;
将爬取到的建筑物存储至所述建筑物列表,将所述道路存储至所述道路列表,将所述交叉路口存储至所述交叉路口列表;
遍历所述建筑物列表,针对建筑物列表中的任一建筑物,通过网络爬虫爬取以所述建筑物为中心,以所述预设长度为半径的圆的范围内的所有建筑物、道路和交叉路口;
将新爬取到的不属于建筑物列表中的建筑物存储至所述建筑物列表,将新爬取到的不属于所述道路列表中的道路存储至所述道路列表,将新爬取到的不属于所述交叉路口列表中的交叉路口存储至所述交叉路口列表,直至所述建筑物列表中不再出现新的建筑物,且所述建筑物列表中的每个建筑物都得到一次遍历。
5.根据权利要求1至3任一项所述的地图数据获取方法,其特征在于,所述通过网络爬虫爬取所述第三方地图的地图数据包括:
创建检索词词库,所述检索词词库中包含多个检索词,所述检索词用于表示网络爬虫的爬取目标;
针对任一检索词,调用第三方地图接口,输入所述检索词,获得统一资源定位符URL列表;
根据所述边界约束条件,通过网络爬虫爬取所述URL列表中的地图数据。
6.一种分布式网络爬虫系统,其特征在于,所述分布式网络爬虫系统包含一台控制服务器和多台数据采集服务器,所述控制服务器分别与每台数据采集服务器相连,该系统用于:
所述控制服务器获取目标区域的边界;
所述控制服务器根据所述目标区域的边界,确定网络爬虫的爬取区域,所述爬取区域为多条线段构成的闭合区域,所述爬取区域包含所述目标区域;
所述控制服务器针对所述多条线段中的任一线段所对应的直线,确定所述直线在第三方地图所对应的地图坐标系中的线性函数;
所述控制服务器根据所述多条线段所对应的线性函数,建立网络爬虫爬取所述第三方地图的地图数据的边界约束条件;
所述数据采集服务器调用所述第三方地图的接口,并根据所述边界约束条件,通过网络爬虫爬取所述第三方地图的地图数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811340202.5/1.html,转载请声明来源钻瓜专利网。