[发明专利]一种多源异构数据快速采集系统

说明书

技术领域

本发明涉及数据采集领域，特别是一种多源异构数据快速采集系统。

背景技术

现在社会的高速进步，物联网的快速发展引领信息产业走向了一个新的浪潮，而数据采集作为信息产业的核心技术，令其以及其边缘技术更加智能化已经成为了物联网系统的核心技术问题。数据采集面临的是来自不同网络不同网站和不同行业的各种信息，而用户在使用各种资料时，往往更倾向于使用经过归纳整理的资料，因此这些被采集到的信息并不能直接作为资料提供给用户，需要进行归类或者提取。

在大数据时代，信息的时效性有限，谁能在较短的时间内为用户提供更清楚有效的信息，谁就能够占据有利的市场份额，现有的数据采集系统往往仅能够针对单一的数据进行处理，或者处理不够完整清楚，数据采集与处理不够迅速。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多源异构数据快速采集系统，该系统通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用。

本发明的目的是通过以下技术方案来实现的：一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，所述的数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，所述的数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，所述的数据处理单元与通信层通讯连接，所述通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，所述的云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。

该系统还包括安全认证单元和应用服务器，应用服务器通过安全认证单元访问云端服务器。

所述的数据处理单元还包括连接状态监测模块和断点续传模块，所述的连接状态监测模块监测数据处理单元与云端服务器之间的连接状态，断点续传模块用于传输处理后的数据。

所述的云端服务器还包括校验模块，校验模块验证应用服务器的身份。

所述的云端存储单元包括数据库管理服务器和数据库服务器，数据库管理服务器与数据库服务器的控制端连接，云端服务器的数据存储控制端与数据库管理服务器的控制端连接。

本发明的有益效果是：本发明提供了一种多源异构数据快速采集系统，该系统通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用，用户通过应用服务器访问云端存储服务器，访问过程通过安全认证单元加密认证，保障了云端存储的数据的安全，同时数据处理单元与云端存储服务器之间采用断点续传的传输方式，保障的数据的完整性。

附图说明

图1为本发明的结构框图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，所述的数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，所述的数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，所述的数据处理单元与通信层通讯连接，所述通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，所述的云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。

该系统还包括安全认证单元和应用服务器，应用服务器通过安全认证单元访问云端服务器。

所述的数据处理单元还包括连接状态监测模块和断点续传模块，所述的连接状态监测模块监测数据处理单元与云端服务器之间的连接状态，断点续传模块用于传输处理后的数据。

所述的云端服务器还包括校验模块，校验模块验证应用服务器的身份。

所述的云端存储单元包括数据库管理服务器和数据库服务器，数据库管理服务器与数据库服务器的控制端连接，云端服务器的数据存储控制端与数据库管理服务器的控制端连接。