[发明专利]一种大数据环境下的群体轨迹伴随模式在线分析方法和系统有效
申请号: | 201910655594.2 | 申请日: | 2019-07-19 |
公开(公告)号: | CN110580251B | 公开(公告)日: | 2023-01-17 |
发明(设计)人: | 王博;李超;郭承青;王维光;刘路;陈天然;庹宇鹏 | 申请(专利权)人: | 中国科学院信息工程研究所;国家计算机网络与信息安全管理中心 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/215 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100093 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 环境 群体 轨迹 伴随 模式 在线 分析 方法 系统 | ||
1.一种大数据环境下的群体轨迹伴随模式在线分析方法,其特征在于,包括以下步骤:
1)设置群体轨迹伴随模式的阈值参数;
2)对接入的群体轨迹流数据进行切片,获得当前时间片的群体位置信息集合;
3)根据当前时间片的群体位置信息集合,构建基于spark的分布式高维索引树KD-Tree;
4)基于KD-Tree进行位置点的密度聚类,形成当前时间片的群体位置聚类快照簇集合Scs;
5)如果当前群体轨迹伴随候选集SetAc为空,则生成新轨迹伴随候选组,将Scs中的位置聚类快照簇放入该新轨迹伴随候选组;
6)如果SetAc不为空,则将Scs中每个位置聚类快照簇与SetAc中的轨迹伴随候选组进行比对,根据步骤1)所述阈值参数进行判断,将Scs中的位置聚类快照簇作为最新时间片快照加入SetAc中存在的轨迹伴随候选组,或者生成新轨迹伴随候选组并将Scs中的位置聚类快照簇放入该新轨迹伴随候选组;
7)根据步骤1)所述阈值参数判断当前每个轨迹伴随候选组是否合格,如果合格则输出合格的群体轨迹伴随模式详情,如果不合格则将不合格的轨迹伴随候选组置为闭合状态,并从SetAc中移除;
其中,步骤1)所述阈值参数包括时间切片长度Slen、伴随群体最小成员数Mp、伴随群体最小核心成员数Mc、伴随持续最短时间阈值Mt、伴随群体相邻时间片最小移动距离Md、密度聚类领域半径r、密度聚类核心对象r半径领域内最小对象数MinPts;
其中,步骤6)所述比对包括:如果SetAc中存在伴随候选组Gj与Scs中位置聚类快照簇Si的Hausdorff距离不小于Md,且Gj的最后一个时间片的位置聚类快照簇Gsl与Si的共有成员个数不小于Mp,则将Si作为最新时间片快照加入Gj;否则生成新轨迹伴随候选组,将Scs中产生的位置聚类快照簇放入该新轨迹伴随候选组;
其中,步骤7)所述判断当前每个轨迹伴随候选组是否合格,包括:对群体轨迹伴随候选集SetAc中每个持续周期大于Mt的轨迹伴随候选组进行轨迹伴随模式分析,如果存在候选组Gj的核心成员人数不少于Mc,则为合格群体轨迹伴随模式;判断一个轨迹伴随候选组是不是合格的群体轨迹伴随模式的步骤如下:
(a)判断该候选组持续时间周期是否大于Mt;
(b)使用一个全局位容器bitVector来存储候选组中每个成员在每个时间片的出现记录;
(c)汇总出现次数大于k的核心成员,形成该候选组的核心成员集合coreSet;
(d)验证该候选组中每个快照簇的核心成员个数是否达到阈值Mc;在验证每个簇的核心成员个数是否达到阈值时,将每个簇的用户ID集合与核心成员集合coreSet做交集,如果交集中ID个数达到阈值Mc,则说明该候选组为合格轨迹伴随模式;如果没有,则该候选组不合格;
其中,步骤7)所述合格的群体轨迹伴随模式详情,包括伴随成员ID集合、伴随开始时间、伴随持续时间长度、伴随开始位置点、伴随轨迹。
2.根据权利要求1所述的方法,其特征在于,循环执行步骤5)至7),直到结束轨迹伴随模式在线分析。
3.根据权利要求1所述的方法,其特征在于,步骤2)进行所述切片之前,对接入的群体轨迹流数据进行清洗和过滤,包括:进行脏数据清洗;过滤掉用户ID标识、时间戳及经纬度信息缺失或异常的无效数据。
4.根据权利要求1所述的方法,其特征在于,步骤3)将所述群体位置信息集合中每个位置信息按照经度、纬度两个维度添加到同一棵维度等于2的K-D Tree数据结构中;在K-DTree构造过程中采用逐层交替法,即相邻两层采用不同维度,交替选择;在K-D Tree插入新结点时,根据所在层次lev,比较待插入结点和已有结点的lev%2维数据决定待插入结点是在已有结点的左子树还是右子树。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所;国家计算机网络与信息安全管理中心,未经中国科学院信息工程研究所;国家计算机网络与信息安全管理中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910655594.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置