[发明专利]基于实时计算框架的数据处理方法和系统

说明书

技术领域

本发明涉及网络数据处理领域，特别是涉及一种基于实时计算框架的数据处理方法和系统。

背景技术

随着互联网技术的快速发展，数据处理的需求也不断增多。数据的价值随着时间流逝而流逝，如果数据能够被实时采集、传输、处理并且反过来对线上系统产生正反馈(例如对在线系统的模型参数进行修正)，那么数据的价值能够被发挥到最大。因此，对数据进行实时计算的相关技术也就应运而生。

现有的各种实时计算数据的系统大多数面向于高吞吐量、低时延的设计目标，对于数据可靠性不能提供保证，或者只能提供较弱的保证。而在一些业务场景中，存在一些重要性很高的数据需要被实时处理，例如需要实时计算报表的扣费数据、实时更新系统模型的参数等。因此，传统的实时计算系统不能满足于可靠的实时数据处理的需求。

传统的实时计算框架中，保证可靠性的实时数据处理通常也只能保证数据不丢失，但很可能数据会被处理多次，也就是存在重复的数据处理。虽然有一些数据被重复处理多次对处理结果没有影响。例如，更新通信用户的头像信息到Key-Value系统中，以通信号码为key，头像信息为value，如果每次采用覆盖更新的方式，那么数据被多次更新到Key-Value是没有影响的。但对于报表这种计算操作来说，数据则不能被重复处理，否则会影像处理结果。

发明内容

基于此，有必要针对上述技术问题，提供一种可以保证数据不丢失且不会被重复处理的基于实时计算框架的数据处理方法和系统。

一种基于实时计算框架的数据处理方法，所述方法包括：

控制节点发起事务并生成对应的事务标识，根据所述事务标识发送事务命令消息到第一工作节点；

所述第一工作节点根据所述事务命令消息从指定的数据源中拉取一批数据；

第一工作节点将所述数据的元数据对应所述事务标识进行存储，并将所述数据发送给第二工作节点；

所述第二工作节点对所述数据进行处理，根据所述事务标识将所述数据的处理结果提交到数据库，所述处理结果包含有所述事务标识的字段。

一种基于实时计算框架的数据处理系统，所述系统包括：

控制节点，用于发起事务并生成对应的事务标识，根据所述事务标识发送事务命令消息；

第一工作节点，用于接收所述控制节点发送的事务命令消息并根据所述事务命令消息从指定的数据源中拉取一批数据；

所述第一工作节点还用于将所述数据对应的元数据对应所述事务标识进行存储；

第二工作节点，用于接收所述第一工作节点拉取的数据，对所述数据进行处理，根据所述事务标识将所述数据的处理结果提交到数据库，所述处理结果包含有所述事务标识的字段；

数据库，用于存储所述第二工作节点提交的所述数据的处理结果。

上述基于实时计算框架的数据处理方法和系统，通过在控制节点发起事务并生成对应的事务标识，根据所述事务标识发送事务命令消息到第一工作节点，第一工作节点根据所述事务命令消息从指定的数据源中拉取数据，然后将所述数据的元数据对应所述事务标识进行存储，并将所述数据发送给第二工作节点，第二工作节点对所述数据进行处理，并根据所述事务标识将所述数据的处理结果提交到数据库，所述处理结果包含有所述事务标识的字段，这样当数据处理失败时还可以根据所述事务标识获取到元数据以实现重新拉取其对应的数据，不会丢失数据；另外，第二工作节点在提交所述数据的处理结果时只要比较事务标识就能判断该数据的处理结果是否提交过，从而很好地避免了所述数据的处理结果的重复提交，相对于传统的数据处理方法，可靠性高。

附图说明

图1为一实施例中基于实时计算框架的数据处理方法实现的应用环境图；

图2为一个实施例中Storm集群框图；

图3为一个实施例中计算框架的内部结构图；

图4为一个实施例中基于实时计算框架的数据处理方法的流程示意图；

图5为一个实施例中第二工作节点根据事务标识将数据的处理结果提交到数据库的具体流程图；

图6为第二工作节点根据事务标识将数据的处理结果提交到数据库之后的具体流程图；

图7为一个实施例中基于实时计算框架的数据处理系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。