[发明专利]一种数据处理方法和装置

说明书

本发明实施例公开了一种数据处理方法，应用于流数据处理框架，流数据处理框架获取业务需求，从用于存储元数据消息的消息队列中依次抓取多个元数据消息，向多个map模块分发抓取的元数据消息，使得多个map模块根据接收到的元数据消息中的存储位置，获取对应的业务数据；并相应的处理获取的业务数据；将多个map模块处理后的业务数据分发到多个reduce模块，使得多个reduce模块对所述处理后的业务数据进行合并处理，输出合并处理结果。通过实时抓取消息队列中的元数据消息，再利用流数据处理框架的实时处理特点，使用实现了MapReduce功能的流数据处理框架处理网络中实时产生的海量数据，处理前不再需要进行预先规划。

技术领域

本发明涉及数据处理领域，特别是涉及一种数据处理方法和装置。

背景技术

随着互联网的发展，使用网络的用户增多，用户对网络的依赖变大。伴随着用户在网络上的操作，例如浏览新闻、购物等，网络上会因此实时的产生海量数据。这些海量数据对于互联网企业来说具有重要价值，例如可以通过分析数据确定出一个用户对哪些类型的网络资源更有兴趣，或者，一个网络资源被哪些用户近期所浏览过等。可见，如何能够快速有效的处理网络中实时产生的海量数据是急需解决的问题。

针对海量数据的传统处理方式是使用MapReduce，MapReduce是一种编程模型，用于对大规模数据集进行并行运算。在MapReduce中包括映射(英文：Map)函数和归约(英文：Reduce)函数。Map函数主要用于根据需求对数据进行相应的处理，这里的需求可以是关键值(英文：key或value)或者键值对(英文：key/value pair)的形式。Map函数处理后的数据通过中间传输过程(英文：Shuffle)传输到Reduce函数，由Reduce函数根据所述需求对处理后的数据进行合并，得到符合所述需求的数据处理结果。

然而，MapReduce主要在Hadoop(一种分布式系统基础架构)平台上运行，主要用于对海量数据进行离线的批量计算。也就是说，MapReduce需要对待处理的数据集进行预先的规划后，例如确定哪些数据由哪个Map函数处理等之后，才能对这个数据集进行批量处理。处理前需要预先规划的特点导致了MapReduce主要用于处理离线数据，而难以对实时产生的数据进行快速的处理。可见，传统的MapReduce不能有效的解决目前需要快速处理网络中实时产生的海量数据的问题。

发明内容

为了解决上述技术问题，本发明提供了一种数据处理方法和装置，实现了对网络中实时产生的海量数据进行快速的处理。

本发明实施例公开了如下技术方案：

一种数据处理方法，应用于流数据处理框架，所述流数据处理框架包括多个map模块和多个reduce模块，所述方法包括：

所述流数据处理框架获取业务需求，所述业务需求包括至少一个关键值；

所述流数据处理框架从用于存储元数据消息的消息队列中依次抓取多个元数据消息，所述消息队列通过所述业务需求确定，所述元数据消息与业务消息一一对应，所述元数据消息包括对应的业务数据的存储位置，所述元数据消息依据所对应业务数据的生成时间先后，被顺序添加到所述消息队列中；

所述流数据处理框架向所述多个map模块分发抓取的元数据消息，使得所述多个map模块根据接收到的元数据消息中的存储位置，获取对应的业务数据；并使得所述多个map模块根据所述至少一个关键值，相应的处理获取的业务数据；

所述流数据处理框架将所述多个map模块处理后的业务数据分发到所述多个reduce模块，使得所述多个reduce模块根据所述至少一个关键值，对所述处理后的业务数据进行合并处理以得到合并处理结果；

所述流数据处理框架输出所述合并处理结果。

可选的，还包括：