[发明专利]一种基于HAWQ记录有效数据的方法、装置和介质

说明书

本发明实施例公开了一种基于HAWQ记录有效数据的方法、装置和介质，调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；根据接收到的源数据对应的操作类型，对源数据设置相应的字段标识。将源数据及其对应的字段标识作为一条记录添加至HAWQ基准表。对源数据设置对应的字段标识，有效的记录了哪一条记录是添加的，哪一条记录是修改的，哪一条记录是被删除的。由于HAWQ基准表只能添加数据，不支持数据的修改和删除，导致HAWQ基准表存在很多无效数据，为了提升数据的调用效率，可以根据每条记录所对应的键值以及字段标识，从HAWQ基准表筛选出有效数据，并将有效数据存储至HAWQ视图中，解决了HAWQ基准表不能删除和修改历史记录的问题。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种基于HAWQ记录有效数据的方法、装置和计算机可读存储介质。

背景技术

HAWQ是Hadoop原生SQL查询引擎，结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。因为目前HDFS文件中的数据只能添加，不允许修改或删除，所以HAWQ基准表中的数据只允许添加模式，不允许修改和删除模式。

但现实应用中往往一些数据记录需要被多次修改或者是删除。由于HAWQ基准表中数据只允许添加，当需要对HAWQ基准表中的某项数据进行修改时，只能在HAWQ表中添加新的数据，对于用户而言，并不能清楚的区分新添加的数据属于独立的新数据，还是属于原有数据的修改数据或者删除数据，不利于数据的查询调用。

可见，如何解决HAWQ基准表不能删除和修改历史记录的问题，是本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种基于HAWQ记录有效数据的方法、装置和计算机可读存储介质，可以解决HAWQ基准表不能删除和修改历史记录的问题。

为解决上述技术问题，本发明实施例提供一种基于HAWQ记录有效数据的方法，包括：

调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；

根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识；

将所述源数据及其对应的字段标识作为一条记录添加至所述HAWQ基准表；

根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据，并将所述有效数据存储至所述HAWQ视图中，以便于直接从所述HAWQ视图中调用有效数据。

可选地，所述字段标识包括版本字段和删除字段。

可选地，所述根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识包括：

当源数据对应的操作类型为数据添加操作或数据修改操作时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为无效删除标识；

当源数据对应的操作类型为数据删除时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为有效删除标识。

可选地，所述根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据包括：

从所述HAWQ基准表中查询目标键值对应的所有目标记录；其中，同一个对象所对应的各条记录具有相同的键值；目标键值为所有键值中的任意一个键值；

根据各目标记录的字段值，从所有目标记录中选取出所述目标键值所对应的最新的目标记录；

当所述最新的目标记录的删除字段为有效删除标识时，则从所述HAWQ基准表中查询下一个键值对应的所有记录；