[发明专利]数据处理方法及装置、电子设备和可读存储介质

说明书

公开了一种数据处理方法及装置、电子设备和可读存储介质，本发明实施例通过设定数据特殊状态与数据表中不包含的值之间的映射关系，实现用数据表中未出现的值来代替数据表中数据特殊状态，所述数据表为数据量饱和的数据集或数据集的数据分片。由此，只需记录数据特殊状态与选取的数据表中未出现的值之间的对应关系，存储开销较小。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法及装置、电子设备和可读存储介质。

背景技术

数据的特殊状态指的是数据并不表示一个特定的数值。在数据库中数据的特殊状态非常常见。例如，在数据库中，若列的约束条件允许为空值，则该列中很有可能存在处于空值状态的数据。又例如，在某些数据库中，当对数据执行删除操作时，并不是真正地将数据从数据库中删除，而是将该数据标记为被删除状态。特殊状态的数据因其特殊的数据含义，通常会采用和普通数据不同的表示方法。

现有技术通常采用如下方法来表示特殊值：选取任意值来表示特殊状态的数据，并对每一种特殊状态都维护一个位图来记录数据是否处于该特殊状态。然而这种表示方法对于每一个数据都需要记录该数据是否处于特殊状态及处于何种特殊状态，存储开销较大。因此，如何对数据的特殊状态提出一个成本更低的表示方法是本发明想要解决的问题。

发明内容

有鉴于此,本发明实施例提供一种数据处理方法及装置、电子设备和可读存储介质，旨在通过选取数据表中未出现值来表示数据特殊状态，只需记录数据特殊状态与选取的未出现值之间的对应关系，存储开销较小。

第一方面，提供一种数据处理方法，包括：

确定第一数据集合，所述第一数据集合由数据表中不包含的值构成，所述数据表为数据量饱和的数据集或数据集的数据分片；

确定数据表中的数据特殊状态的种类集合；

响应于所述第一数据集合中包含的元素数目不小于所述种类集合中包含的元素数目，设定所述第一数据集合与种类集合的映射关系，使每种数据特殊状态对应至少一个值；

将所述数据表中的数据特殊状态设置为与所述数据特殊状态对应的值。

进一步地，所述确定第一数据集合包括：

确定由所述数据表中包含值组成的第二数据集合和所述数据表的数据类型；

确定所述数据类型的取值范围；

在所述取值范围中减去所述第二数据集合中包含的值，确定第一数据集合。

进一步地，所述方法还包括：

响应于所述第一数据集合中包含的元素数目小于所述种类集合中包含的元素数目，将所述种类集合分为第一种类集合和第二种类集合，所述第一种类集合中包含的元素数目与所述第一数据集合中包含的元素数目相等；

设定所述第一数据集合和所述第一种类集合的映射关系，使所述第一种类集合中的每种数据特殊状态对应一个值；

为所述第二种类集合中的每种数据特殊状态建立一个位图索引。

进一步地，所述数据特殊状态包括空值、被删除的状态、无效值。

进一步地，所述方法还包括：

响应于接收到在所述数据表中删除数据的指令，确定数据被删除的状态对应的值；

用所述被删除状态对应的值替换所述数据表中删除的数据。

进一步地，所述方法还包括：

接收到对所述数据表进行修改的指令，所述修改指令包括修改后的值；

响应于修改后的值与数据特殊状态有对应关系，将所述修改后的值从第一数据集合中移除；