[发明专利]数据的涓流传输方法及装置、存储介质、终端

权利要求书

1.一种数据的涓流传输方法，其特征在于，包括：

并行导入全量数据流和增量数据流，所述全量数据流和增量数据流分别包括至少一个记录行，对于每一记录行，所述记录行具有用于唯一标识数据版本的时间戳、用于标识记录行有效性的状态码以及行键，所述行键根据所述记录行的主键确定；

对于行键相同的多个记录行，根据所述多个记录行中导入自增量数据流的记录行的操作类型、所述多个记录行各自的时间戳和状态码合并所述多个记录行，所述操作类型用于指示所述记录行的导入方式；

其中，对于行键相同的多个记录行，导入自所述全量数据流的记录行的时间戳不同于导入自增量数据流的记录行的时间戳。

2.根据权利要求1所述的数据的涓流传输方法，其特征在于，导入自所述全量数据流的记录行的时间戳设置为预设最早时间戳，导入自所述增量数据流的记录行的时间戳为该记录行导入时的实时时间戳。

3.根据权利要求2所述的数据的涓流传输方法，其特征在于，所述对于行键相同的多个记录行，导入自所述全量数据流的记录行的时间戳不同于导入自增量数据流的记录行的时间戳是指：所述导入自所述全量数据流的记录行的时间戳早于导入自增量数据流的记录行的时间戳。

4.根据权利要求1所述的数据的涓流传输方法，其特征在于，所述对于行键相同的多个记录行，根据所述多个记录行中导入自增量数据流的记录行的操作类型、所述多个记录行各自的时间戳和状态码合并所述多个记录行包括：

当所述导入自增量数据流的记录行的操作类型为插入操作时，保留所述多个记录行中时间戳最新的记录行。

5.根据权利要求1所述的数据的涓流传输方法，其特征在于，所述对于行键相同的多个记录行，根据所述多个记录行中导入自增量数据流的记录行的操作类型、所述多个记录行各自的时间戳和状态码合并所述多个记录行包括：

当所述导入自增量数据流的记录行的操作类型为删除操作时，保留所述多个记录行中时间戳最新且状态码指示为删除状态的记录行。

6.根据权利要求1所述的数据的涓流传输方法，其特征在于，所述对于行键相同的多个记录行，根据所述多个记录行中导入自增量数据流的记录行的操作类型、所述多个记录行各自的时间戳和状态码合并所述多个记录行包括：

当所述导入自增量数据流的记录行的操作类型为更新操作时，根据所述记录行的主键类型确定合并操作包括的子操作；

根据所述子操作的操作类型、所述多个记录行各自的时间戳和状态码合并所述多个记录行中所述更新操作指向的字段；

将合并后的所述更新操作指向的字段与所述多个记录行中时间戳最新的记录行中除所述更新操作指向的字段之外的字段合并，获取合并后的记录行。

7.根据权利要求6所述的数据的涓流传输方法，其特征在于，所述根据所述记录行的主键类型确定合并操作包括的子操作包括：

当所述记录行的主键类型为所述记录行的预设字段时，判断所述更新操作指向的字段是否包括所述预设字段；

根据判断结果确定所述合并操作包括的子操作。

8.根据权利要求7所述的数据的涓流传输方法，其特征在于，所述根据判断结果确定所述合并操作包括的子操作包括：

当判断结果表明所述更新操作指向的字段不包括所述预设字段时，确定所述合并操作为插入操作；

所述根据所述子操作的操作类型、所述多个记录行各自的时间戳和状态码合并所述多个记录行中所述更新操作指向的字段包括：

保留所述多个记录行中时间戳最新的记录行中所述更新操作指向的字段。