[发明专利]时间序列数据的补全方法、装置及电子设备

说明书

本发明公开了一种时间序列数据的补全方法、装置及电子设备，该方法包括：将采集的数据按照设定格式构建数据集，所述数据集至少包含一个系列的数据；将每个系列需补全的时间点插入所述数据集中；将插入时间点的数据集按照系列进行重新分区，将同一个系列的数据放入同一个分区内；对分区内的数据进行排序得到数据列表；分别对分区内的数据进行遍历，补全数据。本方法在分布式的计算框架下，对缺失的时间序列数据进行向前补全或者是向后补全，在进行数据补全的时候只需要少量的变量经过一次遍历就可以完成数据补全。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种时间序列数据的补全方法、装置及电子设备。

背景技术

随着计算机科学技术、互联网技术以及物联网技术的迅猛发展，出现信息量爆增的现象，从中找到有用信息的难度也日益增大，而在一台服务器中处理所有需要的数据也变得越来越困难，分布式计算框架的出现恰好解决了这个问题，使得数据可以分布不同的服务器中，并行的进行处理，如此解决了单台服务器的性能瓶颈。

时间序列是指将同一指标的数值按其发生的时间先后顺序排列而成的数列，其大量存在于人类社会和自然界中，例如金融数据时间序列、交通时间序列以及物联网中传感器数据时间序列等。时间序列相似性能够寻找同类领域诸多相似的时间序列，从而为物理现象和社会现象的分析提供极有利的数据。

目前的时间序列相似性方法主要针对没有缺失数据的情况，但是在实际场景的应用中，无法确保每个时刻都有数据。例如，在物联网的应用中，可能会存在多个设备，而每个设备的采样时间不能确保完全相同，如果以其中一个设备的采样时间为基准来分析其他设备，会导致时间序列有大量的缺失值。

发明内容

有鉴于此，本发明提出了一种时间序列数据的补全方法、装置及电子设备，以解决上述问题。

第一方面，本发明实施例提供了一种时间序列数据的补全方法，该方法包括：将采集的数据按照设定的格式构建数据集，且这个数据集中至少包括一个系列数据；将每个系列需补全的时间点插入到这个数据集中；将插入时间点的数据集按照系列进行重新分区，将同一个系列的数据放入同一个分区内；对各分区内的数据进行排序得到数据列表；分别对分区内的数据进行遍历，补全数据。

第二方面，本发明实施例提供了一种基于时间序列的缺失数据补全方法的装置，该装置包括构建模块、插入模块、分区模块、排序模块及遍历模块。其中构建模块，用于将采集的数据按照设定格式构建数据集，所述数据集中至少包括一个系列的数据。插入模块，用于将每个系列需补全的时间点插入所述数据集中。分区模块，用于将插入时间点数据集按照系列进行重新分区，将同一个系列的数据放入同一个分区内。排序模块，用于对分区内的数据进行排序得到数据列表。遍历模块，用于分别对分区内的数据进行遍历，补全数据。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；一个或多个应用程序。其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行本申请任意实施例提供的时间序列数据的补全的方法。

第四方面，本发明实施例提供了一种计算机可读取存储介质，计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行本申请任意实施例提供的时间序列数据的补全方法。

相对于现有技术，本发明实施例提供的一种时间序列数据的补全方法、装置、电子设备及可读取存储介质，通过将采集的数据按照设定的格式构建数据集；将每个系列需补全的时间点插入到这个数据集中；将插入时间点的数据集按照系列进行重新分区，将同一个系列的数据放入同一个分区内；对各分区内的数据进行排序得到数据列表；分别对分区内的数据进行遍历，补全数据，这种方式下，人们通过遍历数据集，可快速有效的获取到分布式环境下所有需要补全的数据，同时在取得较好补全效果的时候，本方法的可解释性较强，背后的物理含义较为清晰，因此还可以在该方法的基础上进行较多的扩展。