[发明专利]数据源融合的方法和装置

说明书

本发明公开了一种数据源融合的方法，方法包括：根据接收的融合指令，为每种待融合的数据源生成记录有数据信息的时间戳的概要信息；根据所述概要信息，将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。本发明还公开了一种数据源融合的装置。本发明所提供的数据源融合的方法和装置，对待融合的数据源的数据信息的时间戳没有要求，能够实现多种不同种类的时间序列数据源融合，能有效利用待融合的数据源中数据信息的时间戳的排序特性，融合效率高，数据源融合的实现过程简单、成本低。

技术领域

本发明涉及数据分析技术领域，尤其涉及数据源融合的方法和装置。

背景技术

大数据技术的发展为海量数据的分析提供了保证，使得机器生成的海量数据能够得到有效的挖掘。

时间序列数据源是一类特殊的数据源，每条数据信息都有一个相应的时间戳，各条数据信息按照时间戳的先后顺序排列。当今社会基础设施十分发达，互联网、物联网、移动通讯、移动定位等系统广泛存在，每时每刻机器产生海量的数据(Machine-generateddata)，这些数据从不同的角度反映了社会的方方面面，因此对机器生成的时间序列数据源分析是大数据分析的一个重要分支。

对不同机器生成的时间序列数据源作系统性的分析往往需要首先将不同机器生成的时间序列数据源进行融合，要求融合后的数据中各条数据信息仍然以时间戳的先后排序，这种融合后数据能够直观详实地反映目标体的时空轨迹状态。

然而现有时间序列数据源的融合技术对待融合的数据源的数据信息的时间戳要求严格、计算复杂、融合效率低。

发明内容

本发明的主要目的在于解决现有的数据源融合技术对待融合的数据源的数据信息的时间戳要求严格、计算复杂、融合效率低的技术问题。

为了实现上述目的，本发明提供一种数据源融合的方法，所述方法包括：

根据接收的融合指令，为每种待融合的数据源生成记录有数据信息的时间戳的概要信息；

根据所述概要信息，将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。

优选地，所述根据所述概要信息，将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合具体包括：

步骤一、计算时钟步进值，根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点；

步骤二、在所述每种待融合的数据源中，提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息；

步骤三、将提取的所有数据信息，按时间戳的先后顺序排列融合；判断所有待融合的数据源内的数据信息是否全部融合完毕；若否，则返回步骤一；若是，则结束流程。

优选地，所述的数据源融合的方法，当所述时钟步进值为第1～n个时钟步进值，则所述计算时钟步进值具体为：根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时钟步进值；

当所述时钟步进值为第m个时钟步进值，则所述计算时钟步进值具体为：根据第m-z个至第m-1个时钟步进值，及第m-z个至第m-1个时钟步进值对应的融合数据信息量和融合时间，计算第m个时钟步进值；

其中，n为3～10的自然数，m为大于n的自然数，z为3～6的自然数。

优选地，所述的数据源融合的方法，步骤三中将提取的所有数据信息进行融合之前还包括：

将提取的所有数据信息转换为设定的格式。

优选地，所述将提取的所有数据信息，按时间戳的先后顺序排列融合具体包括：

采用线程迭代算法，将所有待融合的数据源中每两种数据源中提取的数据信息，按时间戳的先后顺序排列融合，形成多个融合数据；