[发明专利]数据信息获取方法、装置、计算机设备及存储介质在审
申请号: | 201811559342.1 | 申请日: | 2018-12-19 |
公开(公告)号: | CN109582853A | 公开(公告)日: | 2019-04-05 |
发明(设计)人: | 贾克尧 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/958 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 配置信息 数据信息 数据信息获取 计算机设备 并行执行 存储介质 提示信息 目标数据信息 程序模板 程序配置 海量数据 降低设备 数量信息 提醒用户 运行压力 预设 整合 配置 存储 反馈 | ||
1.一种数据信息获取方法,其特征在于,包括:
若接收到用户所输入的配置信息,根据所述配置信息对预设爬取程序模板进行配置以得到配置完成的多个信息爬取程序;
根据所述配置信息中的数量信息生成提示信息以提醒用户程序配置已完成;
若接收到用户根据所述提示信息所反馈的执行信息,对多个信息爬取程序进行并行执行以获取得到对应的多份数据信息并进行存储;
根据所述配置信息对所得到的多份数据信息进行整合以得到目标数据信息。
2.根据权利要求1所述的数据信息获取方法,其特征在于,所述根据所述配置信息对预设爬取程序模板进行配置以得到配置完成的多个信息爬取程序,包括:
根据所述配置信息中的数量信息对预设爬取程序模板进行复制以得到多个爬取程序模板;
根据所述配置信息中的矩阵信息分别对多个爬取程序模板中的经纬度信息进行配置;
根据所述配置信息中的所属人信息分别对多个爬取程序模板中的Key文件进行配置;
根据所述配置信息中的数据类型分别对多个爬取程序模板中的获取类型进行配置;
根据所述配置信息中的接口信息分别对多个爬取程序模板中的获取接口进行配置以得到多个信息爬取程序。
3.根据权利要求2所述的数据信息获取方法,其特征在于,所述对多个信息爬取程序进行并行执行以获取得到对应的多份数据信息并进行存储,包括:
根据信息爬取程序的获取接口将该信息爬取程序所配置的获取类型、Key文件、经纬度信息发送至相应获取接口的服务器端;
获取多个信息爬取程序中获取接口对应服务器端所反馈的多份数据信息并进行存储。
4.根据权利要求1所述的数据信息获取方法,其特征在于,所述根据所述配置信息对所得到的多份数据信息进行整合以得到目标数据信息,包括:
对多份数据信息中每份数据信息的数据条数是否均小于配置信息中的预设阈值进行判断以得到判断结果;
若判断结果为多份数据信息中每份数据信息的数据条数均小于预设阈值,根据所得到的多份数据信息在所述配置信息中对应的数据类型对数据信息进行分类整理以得到目标数据。
5.根据权利要求4所述的数据信息获取方法,其特征在于,所述对多份数据信息中每份数据信息的数据条数是否均小于配置信息中的预设阈值进行判断以得到判断结果之后,还包括:
若判断结果为多份数据信息中不是每份数据信息的数据条数均小于预设阈值,发出报警提示信息以提醒用户所发送数据信息过多。
6.一种数据信息获取装置,其特征在于,包括:
程序配置单元,用于若接收到用户所输入的配置信息,根据所述配置信息对预设爬取程序模板进行配置以得到配置完成的多个信息爬取程序;
提示信息发送单元,用于根据所述配置信息中的数量信息生成提示信息以提醒用户程序配置已完成;
数据信息获取单元,用于若接收到用户根据所述提示信息所反馈的执行信息,对多个信息爬取程序进行并行执行以获取得到对应的多份数据信息并进行存储;
数据信息整合单元,用于根据所述配置信息对所得到的多份数据信息进行整合以得到目标数据信息。
7.根据权利要求6所述的数据信息获取装置,其特征在于,所述程序配置单元,包括:
程序模板复制单元,用于根据所述配置信息中的数量信息对预设爬取程序模板进行复制以得到多个爬取程序模板;
经纬度信息配置单元,用于根据所述配置信息中的矩阵信息分别对多个爬取程序模板中的经纬度信息进行配置;
Key文件配置单元,用于根据所述配置信息中的所属人信息分别对多个爬取程序模板中的Key文件进行配置;
获取类型配置单元,用于根据所述配置信息中的数据类型分别对多个爬取程序模板中的获取类型进行配置;
接口配置单元,用于根据所述配置信息中的接口信息分别对多个爬取程序模板中的获取接口进行配置以得到多个信息爬取程序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811559342.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种全文检索结果的排序方法及系统
- 下一篇:用于生成信息的方法和装置