[发明专利]一种基于多数据源的数据处理方法和装置在审
申请号: | 201810122574.4 | 申请日: | 2018-02-07 |
公开(公告)号: | CN108415965A | 公开(公告)日: | 2018-08-17 |
发明(设计)人: | 龙凯;赵相龙;刘屹州;高瑞鑫 | 申请(专利权)人: | 五维引力(上海)数据服务有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 上海市金茂律师事务所 31299 | 代理人: | 王峥;谢瑞强 |
地址: | 201203 上海市浦东新区中国*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 第一数据 地理位置数据 标识数据 方法和装置 多数据源 空间筛选 筛选条件 时间数据 数据处理 组数据 预设 筛选 数据源 构建 地理 | ||
1.一种基于多数据源的数据处理方法,其特征在于,包括:
从第一数据源获取第一数据列表并且从第二数据源获取第二数据列表;其中,第一数据列表的每组数据包括:第一标识数据以及与所述第一标识数据相对应的第一地理位置数据和第一时间数据;第二数据列表的每组数据包括:第二标识数据以及与所述第二标识数据相对应的第二地理位置数据和第二时间数据;
根据空间筛选条件和时间筛选条件对所述第一数据列表和所述第二数据列表进行筛选处理;其中,所述空间筛选条件为:所述第一地理位置数据和所述第二地理位置数据在预设地理范围之内;所述时间筛选条件为:所述第一时间数据和所述第二时间数据在第一预设时间范围之内;
根据筛选处理后的所述第一数据列表和所述第二数据列表,构建第三数据列表。
2.根据权利要求1所述的数据处理方法,其特征在于,还包括:
根据所述第三数据列表构建第四数据列表;其中,所述第四数据列表包含所述第三数据列表下的所述第一标识数据与所述第二标识数据的全部组合关系;
计算每组所述第一标识数据与所述第二标识数据的组合的迭代次数;
根据迭代筛选条件对所述第一标识数据与所述第二标识数据的组合进行筛选处理;其中,所述迭代筛选条件为:所述迭代次数超过预设次数阈值;
根据筛选处理后的所述第一标识数据与所述第二标识数据的组合,构建第五数据列表;其中,所述第五数据列表包括:相互具有对应关系的所述第一标识数据和所述第二标识数据。
3.根据权利要求2所述的数据处理方法,其特征在于,根据所述第三数据列表构建第四数据列表的步骤具体包括:
根据n个所述预设地理范围构建n个所述第三数据列表,并且,在每个所述第三数据列表中将所述第一标识数据与所述第二标识数据进行配对组合,以构建n个所述第四数据列表;
或者,根据m个所述第一预设时间范围构建m个所述第三数据列表,并且,在每个所述第三数据列表中将所述第一标识数据与所述第二标识数据进行配对组合,以构建m个所述第四数据列表;
或者,根据n个所述预设地理范围构建n个所述第三数据列表并根据m个所述第一预设时间范围构建m个所述第三数据列表,并且,在每个所述第三数据列表中将所述第一标识数据与所述第二标识数据进行配对组合以构建n+m个所述第四数据列表;
其中,n个所述预设地理范围互不重叠,m个所述第一预设时间范围互不重叠,n为自然数且n≥2,m为自然数且m≥2。
4.根据权利要求2所述的数据处理方法,其特征在于,在构建第四数据列表之后,在计算迭代次数之前,还包括:
根据数据筛选条件对所述第四数据列表的每组数据进行筛选处理;
其中,所述数据筛选条件包括:
所述第一时间数据与所述第二时间数据的差值在第一预设时间差值之内;
和/或,所述第一时间数据和所述第二时间数据在第二预设时间范围之内;其中,第二预设时间范围<第一预设时间范围;
和/或,对于至少两个所述第二标识数据相同的情况,当所述第二时间数据之间的差值在第二预设时间差值之内时,仅保留其中一个所述第二标识数据;
和/或,丢弃重合数据。
5.根据权利要求1所述的数据处理方法,其特征在于,所述第三数据列表包括:
第一标识数据、第二标识数据、地理标识;
或者,第一标识数据、第二标识数据、地理标识和时间标识;
其中,所述地理标识与所述预设地理范围相对应,所述时间标识与所述第一预设时间范围相对应。
6.根据权利要求1至5中任一项所述的数据处理方法,其特征在于,
所述第一标识数据包括:金融账户信息或支付软件账号信息;
所述第一数据源包括:包含所述金融账户信息或所述支付软件账号信息的交易数据;
所述第二标识数据包括:终端设备号、应用程序用户账号、电话号码信息、生物特征信息或身份信息;
所述第二数据源包括:包含所述终端设备号、所述应用程序用户账号、所述电话号码信息、所述生物特征信息或所述身份信息的运动轨迹数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于五维引力(上海)数据服务有限公司,未经五维引力(上海)数据服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810122574.4/1.html,转载请声明来源钻瓜专利网。