[发明专利]列式存储文件的数据更新方法及装置

说明书

本发明提供一种列式存储文件的数据更新方法及装置，方法包括：获取待更新的目标数据和目标数据的数据信息；根据数据信息，对目标数据进行更新；其中，数据信息至少包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。所述装置用于执行上述方法。本发明通过利用目标数据在列式存储文件的数据信息，能够实现对列式存储文件的数据的更新。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种列式存储文件的数据更新方法及装置。

背景技术

在大数据时代，一个常见分析型场景的查询很多时候是计算某个属性上的聚合值，比如计算一个地区的平均身高，所有人的平均年龄等。列式存储通常将不同数据的同一个属性值存在一起，在查询时只遍历需要的数据，更适合分析型场景，因此分析型数据库多选用列式存储文件格式，进行数据存储。

批量入库，批量分析是分析型数据库的基本能力。在这个过程中，对数据文件的读写能力是分析型数据库的基本功能，列存文件格式基于按照列存储、按照列查询的思想是此场景下最好的选择。

在实际应用场景中，对数据的更新也是数据加工环节不可少的一部分，如何在列式存储的基础上，实现对数据的更新，是目前亟需解决的问题。

发明内容

本发明提供的列式存储文件的数据更新方法，用于克服现有技术中存在的上述问题，通过利用目标数据在列式存储文件的数据信息，能够实现对列式存储文件的数据的更新。

本发明提供一种列式存储文件的数据更新方法，包括：

获取待更新的目标数据和所述目标数据的数据信息；

根据所述数据信息，对所述目标数据进行更新；

其中，所述数据信息至少包括所述目标数据所在所述列式存储文件的文件名、目标文件、所述目标数据所在所述列式存储文件的列数、所述目标数据所在所述列式存储文件的行数和所述目标数据所在所述列式存储文件的元数据。

根据本发明提供的一种列式存储文件的数据更新方法，所述根据所述数据信息，对所述目标数据进行更新，包括：

根据所述数据信息，对所述目标数据进行修改；或

根据所述数据信息，对所述目标数据进行删除。

根据本发明提供的一种列式存储文件的数据更新方法，所述根据所述数据信息，对所述目标数据进行修改，包括：

根据所述数据信息，获取第预设列的列数据；

对所述第预设列的列数据中第第一预设行的所述目标数据进行修改；

对所述第预设列的元数据进行修改，并将修改后的元数据和更新后的列式存储文件的列数据写入第一目标文件；

其中，所述预设列是根据所述目标数据所在所述列式存储文件的列数确定的；

所述第一预设行是根据所述目标数据所在所述列式存储文件的行数确定的；

所述目标文件包括所述第一目标文件。

根据本发明提供的一种列式存储文件的数据更新方法，所述对所述第预设列的元数据进行修改，包括：

将所述第预设列的元数据的有效文件路径修改为所述第一目标文件的文件名。

根据本发明提供的一种列式存储文件的数据更新方法，所述第一目标文件的文件名，包括：

版本号。

根据本发明提供的一种列式存储文件的数据更新方法，所述根据所述数据信息，对所述目标数据进行删除，包括：