[发明专利]数据采集方法、数据采集装置、存储介质及电子设备

说明书

本公开实施例是关于一种数据采集方法、数据采集装置、计算机可读存储介质及电子设备。该方法包括将预设的数据采集规则和预设报表存储于第一数据库中；从第一数据库获取数据采集规则和预设报表，根据数据采集规则采集原始数据，并将采集的数据填入预设报表中，且填入的当前数据存储于第二数据库中；将已经填入数据的预设报表上传存储于第三数据库中。本公开实施例将数据采集不同阶段的数据分别存储于不同的数据库中，解耦各数据库模块之间的关联性，减少平台的依赖性，提高数据采集系统的效率。

技术领域

本公开实施例涉及数据采集技术领域，尤其涉及一种数据采集方法、数据采集装置、计算机可读存储介质及电子设备。

背景技术

随着互联网、信息技术的快速发展，专家和各级统计机构越来越重视统计数据的信息化。统计数据是企业和政府机构的进行评估的重要因素，因此快速并准确的生产统计数据至关重要。

统计数据能够全面掌握经济运行情况，为领导决策、行业监管与服务提供信息支撑。相关技术中，平台各模块之间相互依赖，老的系统对于国产化平台中大量的数据采集存在查询效率低，计算速度缓慢等问题。

因此，有必要改善上述相关技术方案中存在的一个或者多个问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种数据采集方法、数据采集装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开实施例的第一方面，提供一种数据采集方法，该方法包括：

将预设的数据采集规则和预设报表存储于第一数据库中；

从所述第一数据库获取所述数据采集规则和预设报表，根据所述数据采集规则采集原始数据，并将采集的数据填入所述预设报表中，且填入的当前数据存储于第二数据库中；

将已经填入数据的预设报表上传存储于第三数据库中。

本公开的一种示例性实施例中，从所述第一数据库获取所述数据采集规则和预设报表的步骤，包括：

发送一第一预设请求消息至消息中间件，由所述消息中间件将所述第一预设请求消息转发至所述第一数据库；

所述消息中间件接收所述第一数据库响应所述第一预设请求消息而返回的数据采集规则和预设报表。

本公开的一种示例性实施例中，将已经填入数据的预设报表上传存储于第三数据库中的步骤，包括：

发送一第二预设请求消息至消息中间件，由所述消息中间件将所述第二预设请求消息转发至所述第二数据库；

所述消息中间件接收所述第二数据库响应所述第二预设请求消息而返回的已经填入数据的预设报表；

将已经填入数据的预设报表上传存储于第三数据库中。

本公开的一种示例性实施例中，所述预设报表包括至少一个第一子报表和第二子报表；将采集的数据填入所述预设报表中的步骤，包括：

确定采集的数据的类别，当采集的数据属于第一类别时，将采集的数据存储于所述第一子报表；当采集的数据属于第二类别时，将采集的数据存储于所述第二子报表。

本公开的一种示例性实施例中，所述第一类别用以表征机构的基本信息；所述第二类别用以表征机构的业务信息。

本公开的一种示例性实施例中，所述第三数据库中已经填入数据的预设报表的存储时间为2～3年；和/或，所述第一数据库中的数据采集规则和预设报表为永久存储。