[发明专利]一种数据处理方法和设备

说明书

本申请公开一种数据处理方法和设备，包括：基于对数据的修改生成可写快照；定时克隆可写快照生成新的只读快照；当接收到数据查询请求时，通过索引的方式在当前生成时间最新的只读快照完成数据查询。当接收到数据查询请求时，通过索引的方式在当前生成时间最新的只读快照完成数据查询；以此通过修改和查询分离，实现了快速地实时更新性能，同时基于采用快速和倒排两种索引，有效提高了查询性能；此外，数据采用数据列存储，每个数据列又可以按固定块大小，分成多个数据块，每个数据块块的长度相同；以此在于修改时，只需要将修改的影响范围限定到需要修改的数据块内，而不会影响到其他的数据块，减小修改所造成的资源消耗。

技术领域

本申请实施例涉及通信技术领域，特别涉及一种数据处理方法。本申请实施例同时还涉及一种数据处理设备。

背景技术

现有的数据处理方式中，是基于OLTP(On-Line Transaction Processing，联机事务处理)数据库，OLAP(Online Analytical Processing，联机分析处理)数据库以及Infobright数据库来进行的，但目前主要的OLTP数据库，采用transaction日志的方法，保证所有插入、修改和删除的事务一致性，采用的方法是每个时间周期(天，周，月)开始，创建一张新表，并将采集的数据导入到该表中，并且创建静态索引。索引创建后，才可支持高效的查询，其并不支持数据的实时更新。OLAP数据库则采用按批数据导入模式，也不支持实时数据查询。Infobright数据库需要等待批量数据更新完成后才可查询，更新速度慢；且不支持版本体系，不支持历史版本数据查询，也因此难以扩展并应用于分布式数据库。

由此可见，目前并没有一种数据处理方式能实现快速对数据进行更新以及快速查询。

发明内容

针对现有技术中的缺陷，本申请提出了一种数据处理方法，应用于包括多个只读快照和一个可写快照的数据存储系统中，各个只读快照的生成时间各不相同，该方法包括：

基于对数据的修改生成可写快照；

定时通过克隆可写快照生成新的只读快照；

当接收到数据查询请求时，通过索引的方式在当前生成时间最新的只读快照完成数据查询。

可选的，所述只读快照与所述可写快照的结构一致，所述结构中以数据列来进行数据存储，每个数据列中包含有一个或多个数据块，每个数据块中包含相同数量的子数据块。

可选的，基于对数据的修改生成可写快照，具体包括：

确定当前生成时间最新的只读快照；

将确定的只读快照中的数据信息复制到预设快照中；

在预设快照中确定待修改的数据的位置，并在确定的位置完成数据的修改，以及基于修改更新预设快照中的数据信息；

基于更新后的预设快照中的数据信息生成可写快照。

可选的，对数据的修改包括：插入数据，删除数据，更新数据；

所述在预设快照中确定待修改的数据的位置，并在确定的位置完成数据的修改，以及基于修改更新预设快照中的数据信息，具体包括：

当需要插入数据时，在预设快照中确定存储待插入的数据的子数据块；并在数据存储空间中对应确定的子数据块的位置将待插入的数据插入；基于插入的数据的数据信息更新预设快照中的数据信息；

当需要删除数据时，在预设快照中确定待删除的数据所在的子数据块；在数据存储空间中对应确定的子数据块的位置将待删除的数据删除，并将预设快照中确定待删除的数据所在子数据块所对应的数据标识更改为已删除状态；