[发明专利]数据处理方法及装置

说明书

本申请提供了一种数据处理方法、装置、电子设备及计算机可读存储介质；涉及云技术中的数据库和存储，方法包括：接收增量数据，并将所述增量数据写入数据存储系统中；根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；接收数据查询请求；根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。通过本申请，能够提高在数据存储系统中进行数据过滤的效率。

技术领域

本申请涉及云技术中的数据库技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

互联网特别是移动互联网时代，数据产生的速度越来越快，对数据的存储和处理(例如查询)的性能要求越来越高。

当基于新产生的数据批量更新数据存储系统时，相关技术提供了数据过滤的方案，通过给要删除的数据打上一个删除(Delete)标记，从而避免在查询的时候返回。基于这种方式，首先需要新老两个批次的数据按照数据表的一行的键值(RowKey)进行汇合(Join)，即将两份数据按照RowKey关联在一起，比对老批次有但新批次没有的数据打上Delete标记。

然而，由于Join操作比较耗时，服务器在后续响应数据查询请求时，会由于Join操作的耗时，进而影响响应数据查询请求的效率。

发明内容

本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质，能够提高数据过滤的效率，进而确保响应数据查询请求的效率。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种数据处理方法，包括：

接收增量数据，并将所述增量数据写入数据存储系统中；

根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；

接收数据查询请求；

根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；

将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。

本申请实施例提供一种数据处理装置，包括：

接收模块，用于接收增量数据；

写入模块，用于将所述增量数据写入数据存储系统中；

更新模块，用于根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；

所述接收模块，还用于接收数据查询请求；

查询模块，用于根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；

比较模块，用于将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。

上述方案中，所述比较模块，还用于当所述数据所在列的列级别的最新时间戳大于所述数据的时间戳时，返回不包含所述数据的查询结果；以及用于当所述数据所在列的列级别的最新时间戳小于或者等于所述数据的时间戳时，返回包含所述数据的查询结果。

上述方案中，所述更新模块，还用于根据所述增量数据在所述数据存储系统中的存储地址，更新对应的索引文件，并在所述索引文件中记录所述增量数据包含的所有列。

上述方案中，所述更新模块，还用于当针对所述索引文件执行加载操作时，从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作。