[发明专利]基于实时计算框架的数据处理方法和系统

权利要求书

1.一种基于实时计算框架的数据处理方法，所述方法包括：

控制节点发起事务并生成对应的事务标识，根据所述事务标识发送事务命令消息到第一工作节点，控制节点是整个计算框架的控制中心，事务状态的控制转换由控制节点来协调；

所述第一工作节点根据所述事务命令消息从指定的数据源中拉取一批数据；

第一工作节点将所述数据的元数据对应所述事务标识进行存储，并将所述数据发送给第二工作节点，元数据用来描述数据属性的信息，使得数据、元数据以及事务标识三者之间存在一一映射关系；

所述第二工作节点对所述数据进行处理，根据所述事务标识将所述数据的处理结果提交到数据库，所述处理结果包含有所述事务标识的字段，比较所述事务标识判断对应的数据的处理结果是否提交过，如果提交过，则不提交所述数据的处理结果，否则，提交所述数据的处理结果；

当所述数据的处理结果提交到数据库的过程发生失败时，所述第二工作节点根据所述事务标识通知所述控制节点；

所述控制节点控制所述第一工作节点根据所述事务标识重新从指定的数据源中拉取所述数据。

2.根据权利要求1所述的方法，其特征在于，所述生成对应的事务标识的步骤中所生成的事务标识与上一次生成的事务标识之间是递增关系；

所述第二工作节点根据所述事务标识将所述数据的处理结果提交到数据库的步骤，包括：

第二工作节点检测所述事务标识是否大于最近一次提交的处理结果所包含的事务标识，若是，则提交所述数据的处理结果，否则，不提交所述数据的处理结果。

3.根据权利要求1所述的方法，其特征在于，所述控制节点控制所述第一工作节点根据所述事务标识重新从指定的数据源中拉取所述数据的步骤，包括：

所述控制节点根据所述事务标识获取对应的元数据，并将所述元数据发送到所述第一工作节点；

所述第一工作节点根据所述元数据重新从指定的数据源中拉取所述数据。

4.根据权利要求3所述的方法，其特征在于，所述第二工作节点根据所述事务标识将所述数据的处理结果提交到数据库的步骤之后，还包括：

所述第二工作节点根据所述事务标识通知所述控制节点处理结果提交成功；

所述控制节点根据所述事务标识获取对应的元数据；

所述控制节点根据所述元数据向指定的数据源发送确认信息以实现从数据源拉取下一批数据。

5.一种基于实时计算框架的数据处理系统，所述系统包括：

控制节点，用于发起事务并生成对应的事务标识，根据所述事务标识发送事务命令消息，控制节点是整个计算框架的控制中心，事务状态的控制转换由控制节点来协调；

第一工作节点，用于接收所述控制节点发送的事务命令消息并根据所述事务命令消息从指定的数据源中拉取一批数据；

所述第一工作节点还用于将所述数据对应的元数据对应所述事务标识进行存储，元数据用来描述数据属性的信息，使得数据、元数据以及事务标识三者之间存在一一映射关系；

第二工作节点，用于接收所述第一工作节点拉取的数据，对所述数据进行处理，根据所述事务标识将所述数据的处理结果提交到数据库，所述处理结果包含有所述事务标识的字段，比较所述事务标识判断对应的数据的处理结果是否提交过，如果提交过，则不提交所述数据的处理结果，否则，提交所述数据的处理结果；

所述第二工作节点还用于在所述数据的处理结果提交到数据库的过程发生失败时，根据所述事务标识通知所述控制节点；

所述控制节点还用于控制所述第一工作节点根据所述事务标识重新从指定的数据源中拉取所述数据；

数据库，用于存储所述第二工作节点提交的所述数据的处理结果。

6.根据权利要求5所述的系统，其特征在于，所述控制节点生成对应的事务标识与上一次生成的事务标识之间是递增关系；

所述第二工作节点用于检测所述事务标识是否大于最近一次提交的处理结果所包含的事务标识，若是，则将所述数据的处理结果提交至所述数据库，否则，不将所述数据的处理结果提交到所述数据库。

7.根据权利要求5所述的系统，其特征在于，所述控制节点用于根据所述事务标识获取对应的元数据，并将所述元数据发送到所述第一工作节点，控制所述第一工作节点根据所述元数据重新从指定的数据源中拉取所述数据。

8.根据权利要求7所述的系统，其特征在于，所述第二工作节点还用于在根据所述事务标识将所述数据的处理结果提交到数据库之后根据所述事务标识通知所述控制节点处理结果提交成功；

所述控制节点还用于根据所述事务标识获取对应的元数据，并根据所述元数据向指定的数据源发送确认信息以实现从数据源拉取下一批数据。