[发明专利]一种基于大数据平台的数据汇集方法及装置

说明书

本发明实施例涉及数据汇集技术领域，具体公开了一种基于大数据平台的数据汇集方法及装置。本发明实施例通过周期性生成数据汇集指令，向多个大数据平台发送数据汇集指令；接收多个大数据平台反馈的平台汇集数据，判断是否存在汇集数据遗漏；在存在汇集数据遗漏时，标记汇集遗漏平台；标记汇集辅助平台，将汇集处理数据间接传输至汇集辅助平台；获取汇集辅助平台进行辅助处理得到的辅助汇集数据。能够在对多个大数据平台进行数据汇集过程中，进行汇集数据遗漏判断，标记汇集遗漏平台和汇集辅助平台，通过汇集辅助平台进行数据汇集辅助处理，从而能够在某个大数据平台无法自主进行数据汇集时，还能够及时对所有大数据平台进行数据汇集。

技术领域

本发明属于数据汇集技术领域，尤其涉及一种基于大数据平台的数据汇集方法及装置。

背景技术

大数据平台是一种通过内容共享、资源共用、渠道共建和数据共通等形式来进行服务的网络平台。大数据平台可以充分利用大数据资源支撑创新发展。在数字经济时代，大数据不仅成为新型的关键生产要素，同时也是推动经济社会发展的强劲引擎。大数据平台的优势包括：内容共享、资源共用、渠道共建、技术共通。

大数据平台的数据汇集过程，是进行数据采集的过程，不同的大数据平台，能够进行不同种类的数据采集，在对多个大数据平台同时进行数据汇集的过程中，由于大数据平台的网络、硬件或系统等因素的影响，有可能会造成某个大数据平台无法及时进行数据汇集，因此无法对汇集的多种数据进行相应的及时处理。

发明内容

本发明实施例的目的在于提供一种基于大数据平台的数据汇集方法及装置，旨在解决背景技术中提出的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种基于大数据平台的数据汇集方法，所述方法具体包括以下步骤：

周期性生成数据汇集指令，确定多个进行数据汇集的大数据平台，向多个所述大数据平台发送数据汇集指令；

接收多个所述大数据平台反馈的平台汇集数据，并对多个所述平台汇集数据进行分析，判断是否存在汇集数据遗漏；

在存在汇集数据遗漏时，标记汇集遗漏平台，并获取所述汇集遗漏平台的汇集处理数据和平台联系数据；

根据所述平台联系数据，标记汇集辅助平台，将所述汇集处理数据间接传输至所述汇集辅助平台；

向所述汇集辅助平台发送辅助汇集指令，获取所述汇集辅助平台根据汇集处理数据进行辅助处理得到的辅助汇集数据。

作为本发明实施例技术方案进一步的限定，所述周期性生成数据汇集指令，确定多个进行数据汇集的大数据平台，向多个所述大数据平台发送数据汇集指令具体包括以下步骤：

获取管理人员输入的周期设置信息和平台记录信息；

根据所述周期设置信息，周期性生成数据汇集指令；

根据所述平台记录信息，确定多个进行数据汇集的大数据平台；

向多个所述大数据平台发送数据汇集指令。

作为本发明实施例技术方案进一步的限定，所述接收多个所述大数据平台反馈的平台汇集数据，并对多个所述平台汇集数据进行分析，判断是否存在汇集数据遗漏具体包括以下步骤：

接收多个所述大数据平台反馈的平台汇集数据；

对多个所述平台汇集数据进行地址分析，得到多个传输地址；

根据所述平台记录信息，获取多个大数据平台对应的平台地址；

将多个所述传输地址与多个所述平台地址进行比较分析，判断是否存在汇集数据遗漏。

作为本发明实施例技术方案进一步的限定，所述在存在汇集数据遗漏时，标记汇集遗漏平台，并获取所述汇集遗漏平台的汇集处理数据和平台联系数据具体包括以下步骤：

在存在汇集数据遗漏时，标记汇集遗漏平台；

将所述汇集遗漏平台对应的平台记录信息标记为遗漏平台信息；