[发明专利]基于n-of-N流模型的不确定轮廓查询并行处理方法及系统

摘要

本发明公开了一种基于n‑of‑N流模型的不确定轮廓查询并行处理方法及系统，本发明针对大规模不确定数据流的高效n‑of‑N轮廓查询，将对全局滑动窗口中的数据元组查询处理的任务，按一定的任务映射规则划分为多个本地局部滑动窗口，并且将本地局部滑动窗口的查询处理任务分散交付给多个计算节点，所有计算节点对各自局部滑动窗口进行并行查询处理，当完成对所有数据元组处理后返回查询结果。本发明能够实现计算节点间的负载均衡、最大化并行效率、支持大规模计算节点数目的并行查询、实现高效的n‑of‑N查询并行处理。

主权项

1.一种基于n‑of‑N流模型的不确定轮廓查询并行处理方法，其特征在于实施步骤包括：1)初始化全局滑动窗口DSN以及计算节点集合P中各个计算节点Pi对应的本地局部滑动窗口，判断是否有新的流数据元组到达，当有新的流数据元组到达时跳转执行步骤2)；2)根据W＝W+enew‑eold更新维护的全局滑动窗口DSN，其中W为全局滑动窗口DSN的大小，enew为新到达的流数据元组enew的大小，eold为全局滑动窗口DSN中因为新到达的流数据元组enew的到来而过期的流数据元组eold的大小；3)将新到达的流数据元组enew映射至计算节点集合P中相应的计算节点Pi并告知已经确定的计算节点Pi；4)将新到达的流数据元组enew发送给计算节点集合P中除计算节点Pi以外的剩余计算节点Pj，各剩余计算节点Pj在其所维护的本地局部滑动窗口中查找所有支配新到达的流数据元组enew的流数据元组，并将它们发送至已经确定的计算节点Pi；其中支配的关系定义为：针对数据维度均为d的流数据元组s和流数据元组t而言，流数据元组s支配流数据元组t表示当且仅当流数据元组s的每一维属性值si都不大于流数据元组t中任意一维属性值ti，且至少存在一个小于或等于数据维度d的j使得流数据元组s的第j维属性值sj小于流数据元组t的第j维属性值tj；5)各个计算节点Pi分别根据Wi＝Wi+enew‑eold计算节点Pi更新本地局部滑动窗口，其中Wi为计算节点Pi的本地局部滑动窗口的大小，enew为新到达的流数据元组enew，eold为全局滑动窗口DSN中因为新到达的流数据元组enew的到来而过期的流数据元组eold；6)各个计算节点Pi对新到达的流数据元组enew进行n‑of‑N轮廓查询计算处理；7)各个计算节点Pi更新本地候选集合，将本地候选集合中的任意流数据元组e进行映射，从而将n‑of‑N轮廓查询转化为刺探查询；8)各个计算节点Pi针对转化得到的刺探查询，分别以红黑区间树RBI来组织刺探查询区间形成以刺探查询区间为节点的红黑树，单个刺探查询区间元素用结构体Inv包含三个属性：流数据元组Tuple、区间左端点Left以及区间右端点Right，且以M‑n+1为刺入点在红黑区间树RBI上进行刺入查询，如果M‑n+1∈(Left,Right]，则刺探查询区间(Left,Right]的右端点对应的流数据元组即为n‑of‑N轮廓查询对象，最终得到各自的n‑of‑N轮廓查询对象集合，其中M为当前已到达的流数据元组数量，n为小于等于全局滑动窗口DSN的总长度N的待查询的最近数据元组数量；9)各个计算节点Pi返回各自的n‑of‑N轮廓查询对象集合至查询结果收集节点。