[发明专利]数据的更新方法及装置

说明书

本发明公开了一种数据的更新方法及装置，涉及数据处理技术领域，对Impala数据库中已存储的数据进行更新操作。本发明的方法包括：接收数据更新请求；根据所述数据更新请求确定待更新数据所在的数据分区，并在所述数据分区中提取第一分区数据，其中，所述第一分区数据中包含所述待更新数据；对所述第一分区数据中的所述待更新数据进行剔除处理；获取所述待更新数据对应的更新数据，并对经过剔除处理的所述第一分区数据和所述更新数据进行拼接处理，以获得第二分区数据；使用所述第二分区数据覆盖所述第一分区数据。本发明适用于对Impala数据库中已存储的数据进行更新操作的过程中。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据的更新方法及装置。

背景技术

随着互联网技术的日益发展，互联网用户的数量也在急剧增多，从而使得需要进行存储的用户数据的数据量也在飞速增长，如何存储和快速查询海量用户数据成为了大型互联网企业新的关注点。Impala数据库作为一款分布式数据库，由于其具有查询效率高、性能好等优点受到了广大互联网企业的欢迎。但是，由于Impala数据库内部架构偏向于提升查询效率，从而导致Impala数据库牺牲掉部分性能，如不支持对存储的数据进行更新操作等，然而，在日常运维过程中对数据库中已存储的数据进行更新操作是必不可少的步骤，因此，如何使Impala数据库支持对存储的数据进行更新操作是当前亟需解决的问题。

目前，当需要使Impala数据库支持对存储的数据进行更新操作时，需要将Impala数据库的CDH(Cloudera Distribution Hadoop)版本提升至5.10以上，并将Impala数据库的底层文件系统所使用的存储引擎更改为Kudu存储引擎。然而，在实际应用过程中，升级CDH的版本和更改底层文件系统所使用的存储引擎的成本非常高，从而导致使Impala数据库支持对存储的数据进行更新操作的方式适用性较低。

发明内容

有鉴于此，本发明提供的数据的更新方法及装置，主要目的在于对Impala数据库中已存储的数据进行更新操作。

为了达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供了一种数据的更新方法，该方法包括：

接收数据更新请求；

根据所述数据更新请求确定待更新数据所在的数据分区，并在所述数据分区中提取第一分区数据，其中，所述第一分区数据中包含所述待更新数据；

对所述第一分区数据中的所述待更新数据进行剔除处理；

获取所述待更新数据对应的更新数据，并对经过剔除处理的所述第一分区数据和所述更新数据进行拼接处理，以获得第二分区数据；

使用所述第二分区数据覆盖所述第一分区数据。

可选的，所述数据更新请求中包含所述待更新数据对应的属性和/或所述待更新数据对应的标识；所述根据所述数据更新请求确定待更新数据所在的数据分区，并在所述数据分区中提取第一分区数据，包括：

根据所述待更新数据对应的属性和/或所述待更新数据对应的标识确定所述待更新数据所在的数据分区；

在所述数据分区中提取所述第一分区数据。

可选的，所述对所述第一分区数据中的所述待更新数据进行剔除处理，包括：

根据所述待更新数据对应的属性对所述第一分区数据中的所述待更新数据进行剔除处理；和/或

根据所述待更新数据对应的标识对所述第一分区数据中的所述待更新数据进行剔除处理；

将经过剔除处理的所述第一分区数据存储至第一数据表中。

可选的，在所述获取所述待更新数据对应的更新数据之后，所述方法还包括：