[发明专利]基于实时计算框架的数据处理方法和系统

摘要

本发明涉及一种基于实时计算框架的数据处理方法和系统，所述方法包括控制节点发起事务并生成对应的事务标识，根据所述事务标识发送事务命令消息到第一工作节点；所述第一工作节点根据所述事务命令消息从指定的数据源中拉取一批数据；第一工作节点将所述数据的元数据对应所述事务标识进行存储，并将所述数据发送给第二工作节点；所述第二工作节点对所述数据进行处理，根据所述事务标识将所述数据的处理结果提交到数据库，所述处理结果包含有所述事务标识的字段。本发明相对于传统的数据处理方法，可以保证数据不丢失且不会被重复处理，可靠性高。

主权项

一种基于实时计算框架的数据处理方法，所述方法包括：控制节点发起事务并生成对应的事务标识，根据所述事务标识发送事务命令消息到第一工作节点，控制节点是整个计算框架的控制中心，事务状态的控制转换由控制节点来协调；所述第一工作节点根据所述事务命令消息从指定的数据源中拉取一批数据；第一工作节点将所述数据的元数据对应所述事务标识进行存储，并将所述数据发送给第二工作节点，元数据用来描述数据属性的信息，使得数据、元数据以及事务标识三者之间存在一一映射关系；所述第二工作节点对所述数据进行处理，根据所述事务标识将所述数据的处理结果提交到数据库，所述处理结果包含有所述事务标识的字段，比较所述事务标识判断对应的数据的处理结果是否提交过，如果提交过，则不提交所述数据的处理结果，否则，提交所述数据的处理结果；当所述数据的处理结果提交到数据库的过程发生失败时，所述第二工作节点根据所述事务标识通知所述控制节点；所述控制节点控制所述第一工作节点根据所述事务标识重新从指定的数据源中拉取所述数据。