[发明专利]大数据分布式存储方法、装置、电子设备、存储介质

说明书

本发明提供一种大数据分布式存储方法、装置、电子设备、存储介质，大数据分布式存储方法包括：接收第一用户于用户交互界面输入的待储存数据源及该待储存数据源的存储地址；利用storm接入所述第一用户输入的待储存数据源，并消费待储存数据源的数据，将经消费的所述待储存数据源的数据写入大数据集群的分布式文件系统；以及所述分布式文件系统根据该待储存数据源的存储地址将所写入的待储存数据源的数据储存至大数据集群中。本发明提供的方法及装置在大数据储存过程中不存在缓存，从而实现实时的大数据分布式存储。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据分布式存储方法、装置、电子设备、存储介质。

背景技术

近年来，随着信息时代的到来，对于大数据的相关数据处理能力对信息技术的发展尤为重要。

在大数据早期，对大数据的计算能力没有太多时间上的要求，对关系型数据库解决不了的海量数据计算，只要能够稳定计算完成即可，但是随着大数据技术栈的发展和原有技术的向前迭代，大数据用户对数据计算效率有了新的要求。

大数据技术目前主要使用分布式的模式在多台机器上并行计算，解决了以前关系型数据库解决不了的海量数据问题，利用hive(基于Hadoop的一个数据仓库工具)或spark(专为大规模数据处理而设计的快速通用的计算引擎)等计算引擎可以很快且稳定的输出结果。

目前，大数据集群使用多台物理机提供分布式的数据存储能力，数据要存储在大数据文件系统，使用文件上传的方式将单个或多个文件上传至分布式文件系统(hdfs)中，但是这种方式存在一定的数据延迟，要提前将文件写完才能上传；如果一个文件过大，那么可能会有小时级别的数据延迟。例如，在一些现有技术中，采用spark streaming技术来实现这一个功能的。然而，由于spark steaming技术是微批处理，这种微批的处理方式在spark内部也会延迟一个批次，没有实现真正的实时数据写入；即存在一定程度的数据延迟，批次间隔越大，数据量越大，延迟就越大。由此可见，spark streaming技术实际上是一种伪实时的储存方式。如此，海量数据传输到大数据平台上非常耗时，如果计算耗时很快，但是数据传输很慢，则会使大数据产出很慢，整体性能得不到提升。

由此可见，在大数据的相关数据处理能力中，大数据的存储传输能力是大数据算法的基石。如何实现数据存储的实时性提升，以带动整条链路的计算效率，从而满足用户对数据时效的要求是本领域亟待解决的问题。

发明内容

本发明为了克服上述相关技术存在的缺陷，提供一种大数据分布式存储方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本发明的一个方面，提供一种大数据分布式存储方法，包括：

接收第一用户于用户交互界面输入的待储存数据源及该待储存数据源的存储地址；

利用storm接入所述第一用户输入的待储存数据源，并消费待储存数据源的数据，将经消费的所述待储存数据源的数据写入大数据集群的分布式文件系统；以及

所述分布式文件系统根据该待储存数据源的存储地址将所写入的待储存数据源的数据储存至大数据集群中。

在本发明的一些实施例中，所述用户交互界面于网页上提供。

在本发明的一些实施例中，所述接收第一用户于用户交互界面输入的待储存数据源及该待储存数据源的存储地址之后，且所述利用storm接入所述第一用户输入的待储存数据源，并消费待储存数据源的数据，将经消费的所述待储存数据源的数据写入大数据集群的分布式文件系统之前，还包括：

接收第二用户对所述第一用户输入的待储存数据源及该待储存数据源的存储地址的审核数据。