[发明专利]一种面向群智感知数据的流计算处理方法

说明书

本发明公开了一种面向群智感知数据的流计算处理方法，首先，对群智感知数据进行前置选择，在终端设备层计算感知数据的特征，过滤掉不符合感知任务要求的数据并且对感知数据做出质量评估；接下来将Operator部署策略分为三种，①全部部署在边缘服务器上、②全部部署在云服务器上以及③部分部署在边缘服务器、部分部署在云服务器上；通过对Operator部署目标和约束条件进行数学建模，将Operator部署问题转换成一个数学问题——整数线性规划问题；最后对形式化定义的数学问题进行求解，实验结果得出流速、数据流图拓扑结构、Operator数目对于Operator部署策略的影响，并且总结得出实施三种Operator部署策略的使用场景。本发明实现了高效的流计算处理方法，有效地提高了感知数据处理的实时性。

技术领域

本发明属于数据处理技术领域，具体涉及一种流计算处理方法。

背景技术

数据的流计算处理是当前大数据技术中一个关键的环节。现有技术中，“HuihuiChen,Bin Guo,Zhiwen Yu,Liming Chen and Xiaojuan Ma,A Generic Framework forConstraint-Driven Data Selection in Mobile Crowd Photographing,in IEEEInternet of Things Journal,vol.4,no.1,pp.284-296,Feb.2017,doi:10.1109/JIOT.2017.2648860.”提出了一种视觉群智感知中约束驱动的数据选择方法，该方法实现了一种基于“塔形树”的照片信息的存储结构PTree，以及基于PTree的照片流数据聚类策略。“Yu Hua,Wenbo He,Xue Liu and Dan Feng,SmartEye:Real-time and efficientcloud image sharing for disaster environments,2015IEEE Conference onComputer Communications(INFOCOM),Hong Kong,China,2015,pp.1616-1624,doi:10.1109/INFOCOM.2015.7218541.”针对灾难场景下图片海量，资源受限的问题，提出了一种去冗余、实时传输图片的方法，实现灾害监测、场景识别和损失查询。“Greco L,Ritrovato P,Xhafa F.An edge-stream computing infrastructure for real-timeanalysis of wearable sensors data[J].Future Generation Computer Systems,2019,93:515-528.”提出了基于开源大数据流计算引擎的技术架构解决方案，从而对可穿戴设备感知数据流进行实时分析。“Sajjad H P,Danniswara K,Al-Shishtawy A,etal.Spanedge:Towards unifying stream processing over central and near-the-edgedata centers[C]//2016IEEE/ACM Symposium on Edge Computing(SEC).IEEE,2016:168-178.”首次提出了流处理可以部署在云服务器和边缘服务器两层，并且提出了全局任务和局部任务的分类法。但是文章中对流计算算子的部署问题没有分析，只是进行了宏观的分割没有定量分析，也就没有评价指标，并且没有考虑边缘节点的异构性。“Nardelli M,Cardellini V,Grassi V,et al.Efficient operator placement for distributed datastream processing applications[J].IEEE Transactions on Parallel andDistributed Systems,2019,30(8):1753-1767.”定义了最佳流处理应用部署模型，并且将模型集成到Storm流计算引擎上。但是文章中忽略了流计算算子(Operator)的依赖约束关系和边缘节点的可重用性。总的来说，相关技术中并没有形成针对群智感知数据的流计算处理方法。

发明内容