[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

接收增量数据，将所述增量数据写入数据存储系统中；

根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；

接收数据查询请求；

根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；

将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。

2.根据权利要求1所述的方法，其特征在于，所述根据比较结果返回相应的查询结果，包括：

当所述数据所在列的列级别的最新时间戳大于所述数据的时间戳时，返回不包含所述数据的查询结果；

当所述数据所在列的列级别的最新时间戳小于或者等于所述数据的时间戳时，返回包含所述数据的查询结果。

3.根据权利要求1所述的方法，其特征在于，在将所述增量数据写入数据存储系统中之后，所述方法还包括：

根据所述增量数据在所述数据存储系统中的存储地址，更新对应的索引文件，并在所述索引文件中记录所述增量数据包含的所有列。

4.根据权利要求3所述的方法，其特征在于，所述对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新，包括：

当针对所述索引文件执行加载操作时，从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作。

5.根据权利要求4所述的方法，其特征在于，所述当针对所述索引文件执行加载操作时，从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作，包括：

在同一锁的存活期间执行以下操作：

针对所述索引文件执行加载操作；

从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作。

6.根据权利要求1所述的方法，其特征在于，所述对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新，包括：

针对所述增量数据包含的所有列中的任一列，执行以下处理：

将所述任一列对应的列级别的时间戳更新为与所述增量数据的时间戳相同。

7.根据权利要求1所述的方法，其特征在于，所述将所述增量数据写入数据存储系统中，包括：

当所述增量数据由多个数据源分别提供，且基于所述增量数据对所述数据存储系统中的不同列分别对应的数据进行更新时，在所述数据存储系统中的对应地址写入所述增量数据。

8.根据权利要求1所述的方法，其特征在于，所述将所述增量数据写入数据存储系统中，包括：

当所述增量数据由多个数据源分别提供，且基于所述增量数据对所述数据存储系统中的相同列对应的数据进行更新时，在所述数据存储系统中的对应地址写入所述增量数据；

在写入所述增量数据之后，所述方法还包括：

针对所述数据存储系统中的不同键名，为每个所述键名添加唯一对应的标签；

根据所述标签，在索引文件中记录与所述标签对应的列级别的时间戳。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述获取与所述键名对应的数据，包括：

根据所述键名在索引文件中查询对应的存储地址，并基于所述存储地址查询所述数据存储系统，以获取与所述键名对应的数据。

10.一种数据处理装置，其特征在于，所述装置包括：

接收模块，用于接收增量数据；

写入模块，用于将所述增量数据写入数据存储系统中；

更新模块，用于根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；

所述接收模块，还用于接收数据查询请求；

查询模块，用于根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；

比较模块，用于将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。