[发明专利]一种基于多数据源的数据处理方法和装置

说明书

本发明提供一种基于多数据源的数据处理方法和装置，方法包括：从第一数据源获取第一数据列表并且从第二数据源获取第二数据列表；其中，第一数据列表的每组数据包括：第一标识数据以及与第一标识数据相对应的第一地理位置数据和第一时间数据；第二数据列表的每组数据包括：第二标识数据以及与第二标识数据相对应的第二地理位置数据和第二时间数据；根据空间筛选条件和时间筛选条件对第一数据列表和第二数据列表进行筛选处理；其中，空间筛选条件为：第一地理位置数据和第二地理位置数据在预设地理范围之内；时间筛选条件为：第一时间数据和第二时间数据在第一预设时间范围之内；根据筛选处理后的第一数据列表和第二数据列表，构建第三数据列表。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多数据源的数据处理方法和装置。

背景技术

大数据(big data，mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。基于大数据进行分析处理，可以提供用户画像服务，以分析用户属性和需求等。

然而现有技术中，围绕一个信息主体(如同一台设备、同一个用户、同一家企业)所产生的或与之相关的数据都分散在很多不同的数据源中，不同数据源之间毫无关联，形成若干数据孤岛。基于单个数据源进行分析处理，只能得到碎片化的画像，难以为信息主体提供完整的信息视图。

发明内容

本发明目的在于提供一种基于多数据源的数据处理方法和装置，以解决在相互没有业务逻辑的多个数据源之间进行数据关联的问题。

本发明提供的基于多数据源的数据处理方法，包括：

从第一数据源获取第一数据列表并且从第二数据源获取第二数据列表；其中，第一数据列表的每组数据包括：第一标识数据以及与所述第一标识数据相对应的第一地理位置数据和第一时间数据；第二数据列表的每组数据包括：第二标识数据以及与所述第二标识数据相对应的第二地理位置数据和第二时间数据；

根据空间筛选条件和时间筛选条件对所述第一数据列表和所述第二数据列表进行筛选处理；其中，所述空间筛选条件为：所述第一地理位置数据和所述第二地理位置数据在预设地理范围之内；所述时间筛选条件为：所述第一时间数据和所述第二时间数据在第一预设时间范围之内；

根据筛选处理后的所述第一数据列表和所述第二数据列表，构建第三数据列表。

进一步，本发明所述的数据处理方法，还包括：

根据所述第三数据列表构建第四数据列表；其中，所述第四数据列表包含所述第三数据列表下的所述第一标识数据与所述第二标识数据的全部组合关系；

计算每组所述第一标识数据与所述第二标识数据的组合的迭代次数；

根据迭代筛选条件对所述第一标识数据与所述第二标识数据的组合进行筛选处理；其中，所述迭代筛选条件为：所述迭代次数超过预设次数阈值；

根据筛选处理后的所述第一标识数据与所述第二标识数据的组合，构建第五数据列表；其中，所述第五数据列表包括：相互具有对应关系的所述第一标识数据和所述第二标识数据。

进一步，本发明所述的数据处理方法，根据所述第三数据列表构建第四数据列表的步骤具体包括：

根据n个所述预设地理范围构建n个所述第三数据列表，并且，在每个所述第三数据列表中将所述第一标识数据与所述第二标识数据进行配对组合，以构建n个所述第四数据列表；

或者，根据m个所述第一预设时间范围构建m个所述第三数据列表，并且，在每个所述第三数据列表中将所述第一标识数据与所述第二标识数据进行配对组合，以构建m个所述第四数据列表；