[发明专利]数据处理方法、可读介质和电子设备

说明书

本申请涉及计算机技术领域，具体涉及一种数据处理方法、可读介质和电子设备。其中的数据处理方法用于数据库系统，数据库系统包括作为代理节点、消息存储节点、数据节点和第二存储服务节点的电子设备，具体的方法包括：代理节点接收来自用户的删除数据请求，删除数据请求中包括主键信息和删除时间；代理节点将删除数据请求包装成删除消息，并将删除消息发送至消息存储节点中的消息队列；数据节点监听消息队列以获得删除消息，并将删除消息包装成删除日志；数据节点根据主键信息将删除日志保存进对应的历史数据块。本申请中的方法可以支持大批量的删除数据请求，保证系统的性能，删除操作后也可以立即验证删除效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种数据处理方法、可读介质和电子设备。

背景技术

现有的高维数据检索系统通常采用日志的形式来记录数据，“日志即数据”被作为搭建此类系统的核心理念。在高维数据检索系统中，日志的定序通过全局唯一的时间戳来实现；流数据即实时数据，被打包成日志快照存储在对象存储中；如果日志快照的数量达到一定阈值，则将这些日志快照封印成批数据，即作为历史数据存入持久化存储中，这些批数据只能被读取，而不能再写入新数据。

针对高位数据检索系统中的历史数据进行删除操作的方式通常可以采用过滤列表或者即时更新持久化存储的方式来删除数据。例如，如果采用过滤列表的方式来删除数据，用户需要手动配置过滤列表，那么系统在进行搜索任务时，如果搜索结果中包含有过滤列表中的数据，则这些数据将不会作为搜索结果返回给用户。而如果采用即时更新持久化存储的方式来删除数据，需要根据删除要求，即时从持久化存储中删除数据，持久化存储即磁盘等永久存储器。

无论采用上述哪种方式针对历史数据进行删除操作，都包括一系列的缺点。例如，如果采用过滤列表的删除方式，将无法大批量地删除数据，因为大批量的数据删除意味着需要配置同样大数据量的过滤列表，仅仅依靠用户手动操作设置过滤列表，实现难度较大；同时由于采用过滤列表的方式实质上只是在后来的搜索操作中为用户过滤搜索结果，而并没有将数据从系统中删除，因此也无法真正地删除数据。如果采用即时更新持久化存储的删除方式，将需要根据删除请求，即时删除持久化存储中与删除请求对应的数据，删除操作的次数太多将给系统带来较大的写压力，从而降低系统的性能；而又由于持久化存储本身的速度较慢，则相应的同步删除操作的速度也会较慢，异步删除操作又将影响数据的即时有效性。

发明内容

本申请实施例提供了一种数据处理方法、电子设备及可读存储介质，既可以支持大批量的数据删除，保证系统的性能，也可以立即验证删除效果，不影响查询的召回率和精度。

第一方面，本申请实施例提供了用于数据库系统，上述数据库系统包括作为代理节点、消息存储节点、数据节点和第二存储服务节点的电子设备，上述方法包括：

上述代理节点接收来自用户的删除数据请求，上述删除数据请求中包括主键信息和删除时间；

上述代理节点将上述删除数据请求包装成删除消息，并将上述删除消息发送至上述消息存储节点中的消息队列；

上述数据节点监听上述消息队列以获得上述删除消息，并将上述删除消息包装成删除日志；

上述数据节点根据上述主键信息将上述删除日志保存进对应的历史数据块。

本申请实施例提供的数据处理方法，采用软删除的操作，不需要在每次接收到删除请求，便立即删除数据，而是采用日志记录的方式将删除请求保存下来，上述数据处理方法可以支持大批量的数据删除，同时可以保证系统的性能。

在上述第一方面的一种可能的实现方式中，上述数据节点根据上述主键信息将上述删除日志保存进对应的历史数据块，包括：

上述数据节点根据上述主键信息，在持久化存储中找到与上述主键信息对应的历史数据块；

上述数据节点将上述删除日志保存进上述历史数据块。