[发明专利]一种数据合成方法、装置、计算机设备和存储介质

说明书

本发明公开了一种数据合成方法、装置、计算机设备和存储介质。该方法包括：实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。使用本发明的技术方案，可以实现对不同数据源和不同到达时间的数据进行实时合成处理。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据合成方法、装置、计算机设备和存储介质。

背景技术

数据合成也即数据的关联合并，是指从大规模数据中发现数据之间隐含的关系与规律，将多种数据信息进行提取计算，合并生成一类数据的过程。

传统的数据关联分析为离线分析，将多种数据存储到数据库中进行关联分析，在海量数据的关联分析场景下，传统的离线关联分析无法满足数据的实时计算需求，并且离线分析需要耗费的计算成本较高，效率较低。而在大数据领域，如果要对数据进行实时合成，在多个数据源接入的数据到达时间不同的情况下，可能会存在部分数据无法被合成的情况。

发明内容

本发明实施例提供了一种数据合成方法、装置、计算机设备和存储介质，以实现对不同数据源和不同到达时间的数据进行实时合成处理。

第一方面，本发明实施例提供了一种数据合成方法，该方法包括：

实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；

根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；

对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。

第二方面，本发明实施例还提供了一种数据合成装置，该装置包括：

数据生成时间获取模块，用于实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；

数据确定模块，用于根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；

数据合成模块，用于对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据合成方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的数据合成方法。

本发明实施例通过接入多个数据源，实时获取待合成数据，根据各待合成数据的数据生成时间，确定目标时间窗口对应的目标待合成数据和缓存时间区间对应的缓存数据，对目标待合成数据和/或缓存数据进行数据合成，得到合成数据。解决了现有技术中传统的离线关联分析无法满足数据的实时计算需求，并且需要耗费的计算成本较高，效率较低的问题，以及实时合成时数据到达时间不一导致部分数据无法被合成的问题，实现了对不同数据源和不同到达时间的数据的实时合成处理。

附图说明

图1是本发明实施例一中的一种数据合成方法的流程图；

图2a是本发明实施例二中的一种数据合成方法的流程图；

图2b是适用于本发明实施例中的一种数据合成原理的示意图；

图3是本发明实施例三中的一种数据合成装置的结构示意图；