[发明专利]一种基于Hive的数据修改方法、装置及存储介质

说明书

本发明公开了一种基于Hive的数据修改方法、装置及存储介质，该方法先获取待录入数据，然后根据采集时间，查询Hive数据仓库中是否存储有与待录入数据的采集时间相同的已录入数据，如果没有则进行数据录入，如果有已录入数据，则将待录入数据与查询到的已录入数据划分为同一组，并在该组数据被调用时，根据各条数据的入库时间戳，将入库时间最晚的数据作为该组的调用数据。采用本发明技术方案对Hive内的每条数据进行分组管理，并引入入库时间戳标识是否产生数据更新，在数据调用时能够调用最新的数据，避免数据错误而导致数据调用后的计算错误，同时降低了修改成本，提高修改效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Hive的数据修改方法、装置及存储介质。

背景技术

Hive是基于Hadoop(海杜普)的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL(Structured Query Language，结构化查询语言)查询功能，可以将SQL语句转换为编程模型MapReduce、开源计算框架Tez或者计算引擎Spark任务进行运行。Hive提供了一系列的工具，对数据执行ETL(Extract-Transform-Load，抽取-转换-加载)操作，对存储在Hadoop中的大规模数据进行存储、查询和分析。

但Hadoop上的文件具有不可修改性，数据文件里面的数据无法被修改，数据只能追加不能修改。如果要修改文件里的一行数据，只能整个文件删除掉，然后重新生成修改后的新文件，修改成本高。譬如在实际应用如工业上，经常会出现因为电磁波干扰或者表计故障而导致表计的采集数据出现错误，当发现采集数据有错误时，数据已经上传都Hive数据仓库了。此时，数据仓库中错误的采集数据会参与到Hive的离线计算中，导致计算结果出现很大的偏差和错误。而单单为了修改一个表计的采集数据，将整个Hive文件删掉并重新生成新表的成本非常高，不符合实际的运用和操作。

发明内容

本发明实施例提供一种基于Hive的数据修改方法、装置及存储介质，在不删除Hive的数据前提下，对Hive内存储的数据进行逻辑修改，降低修改成本，提高修改效率。

本发明提供了一种基于Hive的数据修改方法，包括：

获取数据采集设备上传的待录入数据；其中，所述待录入数据包括：采集时间、采集数据信息和入库时间戳；

查询Hive数据仓库中是否存储有与所述待录入数据的采集时间相同的已录入数据；其中，一个已录入数据包括采集时间、采集数据信息和入库时间戳；

若否，则将所述待录入数据录入到所述Hive数据仓库；

若是，则将所述待录入数据与查询到的已录入数据划分为同一组，并在该组数据被调用时，根据各条数据的入库时间戳，将入库时间最晚的数据作为该组的调用数据。

进一步的，所述在该组数据被调用时，根据各条数据的入库时间戳，将入库时间最晚的数据作为该组的调用数据，具体为：

在该组数据被调用时，根据各条数据的入库时间戳对该组数据进行排序去重，将入库时间最晚的数据作为该组的调用数据，以供调用所述入库时间最晚的数据的采集数据信息。

相应的，本发明提供了一种基于Hive的数据修改装置，包括：数据获取模块、查询模块、第一处理模块和第二处理模块；

其中，所述数据获取模块用于获取数据采集设备上传的待录入数据；其中，所述待录入数据包括：采集时间、采集数据信息和入库时间戳；

所述查询模块用于查询Hive数据仓库中是否存储有与所述待录入数据的采集时间相同的已录入数据；其中，一个已录入数据包括采集时间、采集数据信息和入库时间戳；

所述第一处理模块用于在所述查询模块没有查询到与所述待录入数据的采集时间相同的已录入数据时，将所述待录入数据录入到所述Hive数据仓库；