[发明专利]基于大数据的数据处理方法和装置

说明书

本发明涉及一种基于大数据的数据处理方法和装置。上述方法包括：实时监控并采集各个数据源的第一数据；将所述第一数据传输至分布式消息系统进行存储；从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；获取与所述第二数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中；通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。上述基于大数据的数据处理方法和装置，能够在保证数据处理框架集群的处理压力不会过大的情况下，将数据实时写入数据处理框架，并提高数据处理效率。

技术领域

本发明涉及大数据技术领域，特别是涉及一种基于大数据的数据处理方法和装置。

背景技术

大数据(big data)，指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。随着计算机和信息技术的快速发展，每个行业都会产生巨大的数据，经常需要将这些数据很好地收集处理并进行利用，但对于动辄达到TB(Terabyte，太字节)甚至PB(Petabyte)级别的数据，对于传统计算机而言远远超过了它的处理能力。Hadoop分布式文件系统(HADOOP DISTRIBUTED FILE SYSTEM，简称HDFS)能够进行高度容错性和高吞吐量的海量数据存储，针对不同的应用场景，出现了很多基于Hadoop分布式文件系统的数据处理框架，用于管理和处理大数据。例如：具有高可靠性、高性能、面向列、可伸缩的分布式存储系统Hbase(Hadoop Database)；支持通过SQL映射成MapReduce任务进行执行、具有丰富自定义函数的Hive等。

而在传统的方式中，由于数据量巨大，且数据格式多种多样，有些数据可能还需要进行一些特殊的业务处理，在将数据写入数据处理框架之前需要对数据进行分析处理，且不同的数据写入不同的数据处理框架，写入方式也完全不同。若是不断地对数据进行分析处理，并写入数据处理框架，会给Hadoop分布式文件系统中的数据处理框架集群造成很大的压力，因此，为了减少数据处理框架集群的处理压力，经常会选择每天或某个时间点再统一将数据写入数据处理框架，无法对数据进行实时处理分析，且数据处理效率低。

发明内容

基于此，有必要提供一种基于大数据的数据处理方法，能够在保证数据处理框架集群的处理压力不会过大的情况下，将数据实时写入数据处理框架，并提高数据处理效率。

此外，还有必要提供一种基于大数据的数据处理装置，能够在保证数据处理框架集群的处理压力不会过大的情况下，将数据实时写入数据处理框架，并提高数据处理效率。

一种基于大数据的数据处理方法，包括：

实时监控并采集各个数据源的第一数据；

将所述第一数据传输至分布式消息系统进行存储；

从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；

获取与所述第二数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中；

通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。

在其中一个实施例中，所述实时监控并采集各个数据源的第一数据，包括：

实时监控指定的各个数据源；

当检测到任一数据源中存在新增的第一数据时，则读取所述第一数据；

解析所述第一数据，并将解析后的第一数据写入管道中。

在其中一个实施例中，所述将所述第一数据传输至分布式消息系统进行存储，包括：