[发明专利]一种大数据流数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种大数据流数据处理方法，其特征在于，包括：

获取多个数据源中的源数据；

分析所述源数据是否包含变化标识和/或属性标识；

若是，则对所述源数据进行数据组织并将其发送给消息中间件，其中，经数据组织后的组织后源数据包含系统、表名、主键、所述变化标识和/或所述属性标识；

对从所述消息中间件获取的至少一条组织后源数据进行解析，根据所述主键信息将至少一条所述组织后源数据匹配到目标数据记录库中；

根据所述目标数据记录库中的数据的所述属性标识判断所述目标数据记录库的数据的处理优先顺序，根据所述目标数据记录库的数据的处理优先顺序形成待处理数据组；

根据所述待处理数据组的所述变化标识判断所述待处理数据组的操作标准并形成新的目标数据库。

2.根据权利要求1所述的一种大数据流数据处理方法，其特征在于，所述“根据所述目标数据记录库中的数据的所述属性标识判断所述目标数据记录库的数据的处理优先顺序”包括：

识别获取的目标数据记录库中数据的数据库属性并决定获取的目标数据记录库数据的处理优先级，将每个所述主键相同的所述目标数据记录库的数据中数据库属性处理优先级最优的所述目标数据记录库的数据作为第一待处理数据组；所述数据库属性包括数据库迁移、数据库拆分和/或数据库归档；

识别所述第一待处理数据组的时间属性并决定所述第一待处理数据组的处理优先级，将每个所述主键相同的所述第一待处理数据组中时间属性处理优先级最优的所述第一待处理数据组作为第二待处理数据组；所述时间属性包括组织后源数据发生变化的时间信息；

识别所述第二待处理数据组的系统属性并决定所述第二待处理数据组的处理优先级，将每个所述主键相同的所述第二待处理数据组中的系统属性处理优先级最优的所述第二待处理数据组作为第三待处理数据组。

3.根据权利要求2所述的一种大数据流数据处理方法，其特征在于，所述“根据所述待处理数据组的所述变化标识判断所述待处理数据组的操作标准并形成新的目标数据库”包括：

识别所述第三待处理数据组中每个目标数据的变化标识；

若所述目标数据中包含修改或新增的变化标识，则对所述目标数据进行更新，形成更新后目标数据；

若所述目标数据中包含删除的变化标识，则对所述目标数据进行逻辑删除操作，形成删除后目标数据；

所述第三待处理数据组没有变化标识的数据、更新后目标数据和删除后目标数据形成新的目标数据库。

4.根据权利要求1所述的一种大数据流数据处理方法，其特征在于，所述“分析所述源数据是否包含变化标识和/或属性标识”包括：

若所述数据源中的源数据包含变化标识或属性标识，则数据源发送源数据的变化标识或属性标识记录给下游。

5.根据权利要求1所述的一种大数据流数据处理方法，其特征在于，所述“分析所述源数据是否包含变化标识和/或属性标识”包括：

下游分析所述数据源中的源数据数据库日志信息，进而识别所述数据源中的源数据是否包含变化标识或属性标识。

6.一种大数据流数据处理装置，其特征在于，包括：

获取模块，用于获取多个数据源中的源数据；

分析模块，用于分析所述源数据是否包含变化标识或属性标识；若是，则对所述源数据进行数据组织并将其发送给消息中间件，其中，经数据组织后的组织后源数据包含系统、表名、主键、所述变化标识和/或所述属性标识；

第一判断模块，用于对从所述消息中间件获取的至少一条组织后源数据进行解析，根据所述主键信息将至少一条所述组织后源数据匹配到目标数据记录库中；

第二判断模块，用于根据所述目标数据记录库中的数据的所述属性标识判断所述目标数据记录库的数据的处理优先顺序，根据所述目标数据记录库的数据的处理优先顺序形成待处理数据组；

第三判断模块，用于根据所述待处理数据组的所述变化标识判断所述待处理数据组的操作标准并形成新的目标数据库。