[发明专利]获取数据的方法和系统在审
申请号: | 201810203829.X | 申请日: | 2018-03-13 |
公开(公告)号: | CN110347731A | 公开(公告)日: | 2019-10-18 |
发明(设计)人: | 付小龙 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F21/62;H04L29/06;H04L29/08 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;张效荣 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 云服务 应用 获取数据 数据抓取 计算机技术领域 网络访问权限 数据安全性 数据流转换 数据流 实体数据 数据获取 数据上传 应用接收 运维 发送 返回 部署 | ||
1.一种获取数据的方法,其特征在于,所述方法包括:
第一应用将产出数据上传至云服务;
第二应用向云服务发送针对所述产出数据的数据抓取请求,然后,第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流,并将所述IO数据流转换为实体数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述将所述IO数据流转换为实体数据的步骤之后,第二应用将所述实体数据存储至Redis数据库和/或内存。
3.根据权利要求1所述的方法,其特征在于,所述第一应用将产出数据上传至云服务的步骤包括:
所述第一应用根据访问账号和访问密钥调用云服务的文件上传接口,以将产出数据上传至云服务的存储空间。
4.根据权利要求1所述的方法,其特征在于,所述第二应用向云服务发送针对所述产出数据的数据抓取请求的步骤包括:
第二应用根据配置文件调用云服务的文件下载接口,以接口形式发送针对所述产出数据的数据抓取请求;其中,所述配置文件包括访问账号、访问密钥和文件名。
5.一种获取数据的系统,其特征在于,所述系统包括:第一应用、第二应用和云服务;
第一应用,用于将产出数据以文件形式上传至云服务;
第二应用,用于向云服务发送针对所述产出数据的数据抓取请求,然后,第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流,并将所述IO数据流转换为实体数据。
6.根据权利要求5所述的系统,其特征在于,在将所述IO数据流转换为实体数据之后,第二应用还用于将所述实体数据存储至Redis数据库和/或内存。
7.根据权利要求5所述的系统,其特征在于,所述第一应用将产出数据上传至云服务包括:所述第一应用根据访问账号和访问密钥调用云服务的文件上传接口,以将产出数据上传至云服务的存储空间。
8.根据权利要求5所述的系统,其特征在于,所述第二应用向云服务发送针对所述产出数据的数据抓取请求包括:
第二应用根据配置文件调用云服务的文件下载接口,以接口形式发送针对所述产出数据的数据抓取请求;其中,所述配置文件包括访问账号、访问密钥和文件名。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至4中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至4中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810203829.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于房地产的数据处理设备和方法以及存储介质
- 下一篇:一种数据转换方法及装置