[发明专利]获取数据的方法和系统

说明书

本发明公开了一种获取数据的方法和系统，涉及计算机技术领域。其中，该方法包括：第一应用将产出数据上传至云服务；第二应用向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。通过以上步骤，能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明降低了第一应用的部署和运维成本，提高了数据获取效率和数据安全性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种获取数据的方法和系统。

背景技术

商品仓库每天可产生大量的商品出入库信息。这些信息隐藏着大量的可挖掘数据，比如商品的出库率、出库时间以及储位分布等。经过数据集市的数据采集和机器学习应用服务的数据挖掘，产出了大量的有效数据，比如商品编码、日平均出库量、点击率、点击量、库存量、关联商品编码以及关联度等。

在现有技术中，存在如下需求：一些库房应用服务(比如库房智能排产应用)需要获取和使用机器学习应用的产出数据。然而，由于网络访问权限问题，不仅库房应用服务不能与机器学习应用服务相互访问，而且不同库房之间的应用也不能相互访问。

针对这一问题，现有的解决方案如下：在每个库房分别部署相应的机器学习应用服务，并且，在机器学习应用服务中开发数据传输模块，并将产出数据存储在所属库房的数据库中；其他库房应用服务可通过HTTP传输接口实时向同一库房的机器学习应用服务请求数据，然后将数据存储至关系型数据库。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

第一、在每个库存分别部署相应的机器学习应用服务，会产生大量的部署成本和运维成本；第二、机器学习应用服务的产出数据需要根据不同的库房分发到各个库房的数据库内，传输成本巨大、时效性低；第三、库房应用服务(比如库房智能排产应用)只能获取同库房机器学习应用服务的产出数据，无法获取其他库房的产出数据，数据的共享性和数据的利用率过低。

发明内容

有鉴于此，本发明提供一种获取数据的方法和系统，能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明降低了第一应用的部署和运维成本，提高了数据获取效率和数据安全性。

为实现上述目的，根据本发明的一个方面，提供了一种获取数据的方法。

本发明的获取数据的方法包括：第一应用将产出数据上传至云服务；第二应用向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。

可选地，所述方法还包括：在所述将所述IO数据流转换为实体数据的步骤之后，第二应用将所述实体数据存储至Redis数据库和/或内存。

可选地，所述第一应用将产出数据上传至云服务的步骤包括：所述第一应用根据访问账号和访问密钥调用云服务的文件上传接口，以将产出数据上传至云服务的存储空间。

可选地，所述第二应用向云服务发送针对所述产出数据的数据抓取请求的步骤包括：第二应用根据配置文件调用云服务的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求；其中，所述配置文件包括访问账号、访问密钥和文件名。

为实现上述目的，根据本发明的另一方面，提供了一种获取数据的系统。

本发明的获取数据的系统包括：第一应用、第二应用和云服务；第一应用，用于将产出数据以文件形式上传至云服务；第二应用，用于向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。

可选地，在将所述IO数据流转换为实体数据之后，第二应用还用于将所述实体数据存储至Redis数据库和/或内存。