[发明专利]一种基于Hive的数据修改方法、装置及存储介质

权利要求书

1.一种基于Hive的数据修改方法，其特征在于，包括：

获取数据采集设备上传的待录入数据；其中，所述待录入数据包括：采集时间、采集数据信息和入库时间戳；

查询Hive数据仓库中是否存储有与所述待录入数据的采集时间相同的已录入数据；其中，一个已录入数据包括采集时间、采集数据信息和入库时间戳；

若否，则将所述待录入数据录入到所述Hive数据仓库；

若是，则将所述待录入数据与查询到的已录入数据划分为同一组，并在该组数据被调用时，根据各条数据的入库时间戳，将入库时间最晚的数据作为该组的调用数据。

2.根据权利要求1所述的基于Hive的数据修改方法，其特征在于，所述在该组数据被调用时，根据各条数据的入库时间戳，将入库时间最晚的数据作为该组的调用数据，具体为：

在该组数据被调用时，根据各条数据的入库时间戳对该组数据进行排序去重，将入库时间最晚的数据作为该组的调用数据，以供调用所述入库时间最晚的数据的采集数据信息。

3.根据权利要求1或2所述的基于Hive的数据修改方法，其特征在于，所述采集数据信息包括：采集设备名称、采集分区和采集值。

4.一种基于Hive的数据修改装置，其特征在于，包括：数据获取模块、查询模块、第一处理模块和第二处理模块；

其中，所述数据获取模块用于获取数据采集设备上传的待录入数据；其中，所述待录入数据包括：采集时间、采集数据信息和入库时间戳；

所述查询模块用于查询Hive数据仓库中是否存储有与所述待录入数据的采集时间相同的已录入数据；其中，一个已录入数据包括采集时间、采集数据信息和入库时间戳；

所述第一处理模块用于在所述查询模块没有查询到与所述待录入数据的采集时间相同的已录入数据时，将所述待录入数据录入到所述Hive数据仓库；

所述第二处理模块用于在所述查询模块查询到存储有与所述待录入数据的采集时间相同的已录入数据时，将所述待录入数据与查询到的已录入数据划分为同一组，并在该组数据被调用时，根据各条数据的入库时间戳，将入库时间最晚的数据作为该组的调用数据。

5.根据权利要求4所述的基于Hive的数据修改装置，其特征在于，所述第二处理模块用于在该组数据被调用时，根据各条数据的入库时间戳，将入库时间最晚的数据作为该组的调用数据，具体为：

所述第二处理模块在该组数据被调用时，根据各条数据的入库时间戳对该组数据进行排序去重，将入库时间最晚的数据作为该组的调用数据，以供调用所述入库时间最晚的数据的采集数据信息。

6.根据权利要求4或5所述的基于Hive的数据修改装置，其特征在于，所述采集数据信息包括：采集设备名称、采集分区和采集值。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至3中任意一项所述的基于Hive的数据修改方法。