[发明专利]基于神经网络的多源高维多尺度实时数据流的分拣方法

说明书

本发明公开了基于神经网络的多源高维多尺度实时数据流的分拣方法，涉及计算机高维数据分类技术领域，设计一个管道式的信息处理模型，该模型使用抽象工厂方式忽略了设备间数据格式的差异，然后使用消息泵机制将不同信道采集的多通道异构数据泵入数据处理管道，采用协处理器中间件方式完成异构消息的协同处理，在协处理器内部采用神经网络结构对多源高维数据进行分类处理，从而有效地解决了多通道信号分类融合处理问题。本发明通过研究现有分类器的优缺点，提出了一种改进的分拣方法，该方案融入人工智能的神经网络算法，通过对分类器的优化设计，满足了高维多尺度高速实时数据流的分拣。

技术领域

本发明涉及计算机高维数据分类技术领域，特别涉及基于神经网络的多源高维多尺度实时数据流的分拣方法。

背景技术

随着计算机技术的快速发展以及互联互通的网络普及数据采集和传输变得越来越快速、便捷，从而形成了日益庞大而复杂的数据集。面对海量数据，我们需要从中挖掘出一般信息来指导各种各样决策。然而，海量数据的维度可以达到成百上千维，由于维度的影响，在高维数据集聚类时，许多在低纬度数据集中表现良好的聚类方法无法取得良好的聚类结果。因此，对高维数据的分类聚合是数据挖掘中的比较困难的问题，高维数据聚类引起了学术界的广泛关注。

数据聚类是对具有共同趋势的数据元组进行分组，数据聚类的逻辑处理过程，就是依据该类数据集划分标准，采用某种算法使得数据集被划分为多个子数据集。其中，分组数据集之间没有关联关系，而同一个分组子集中具有属性相似性。数据分类方法是判定数据是否正确分类的关键，神经网络就是常用的一种数据分类方法。多源数据聚合是将来自多路信息采集设备汇入的数据信息加以组合，以便获取到更为精确的数据。多源数据融合起源于军事领域中多源传感器的应用，模仿了人通过自身感官系统获取到信息，然后经大脑分析提取出有用信息，以便产生决策来认识世界和改造世界。如今，多源数据融合技术广泛应用于生态监测、医学研发等相当多的领域。

众多学者在多源数据融合领域做出了巨大的努力。例如，杨月平提出了一种基于K-anonymizat ion的多源数据融合算法，降低了数据融合过程中的成本，提高多源数据融合的精度。李盛阳等人提出的多源分辨率遥感图像的智能融合方法，利用Curvelet-HCS算法提高HCS算法的频谱失真，实现多光谱图像多谱段的同时融合，完成不同的分辨率和不同的相位高分辨率多源遥感图像数据融合。惠国保的基于深度学习的多源异构数据融合方法是基于深度学习的多源异构数据融合模型，具有很强的泛化能力。虽然前人在多源数据分类聚合领域做了相当多的研究，但是将这些方法引入高维多尺度高速实时数据流的分类上的研究工作仍然有限。

在超大规模仿真科学计算时，输入的多元数据通过耦合器被送入仿真器，在数据运算之前，需要一个分类器，对输入的数据进行归纳处理。当输入的数据流比较小或者速率不是太高的情况下，运行于单机的分类器可以满足仿真器的需求；当输入的数据流是一种高速的、多尺度高维数据时，高维多尺度的数据特征使得算法复杂，庞大复杂的算法使得运行分类器的节点易于过载，高速数据的输入使得分类器必须在限定时间内完成数据的分类，过时的数据将被遗弃。当仿真器在高负载情况下易于失去响应而无法满足实时要求，因此常用的分离器无法满足超大规模仿真科学计算时仿真器的输入要求,所以就需要基于神经网络的多源高维多尺度实时数据流的分拣方法。

发明内容

本发明实施例提供了基于神经网络的多源高维多尺度实时数据流的分拣方法，用以解决现有技术中存在的问题。

具体步骤包括：

步骤一、将多源设备采集的数据泵入多个消息泵

将采集设备1-n采集的数据通过不同的数据通道泵入到多个消息泵中，具有相同泵入消息方式的采集设备之间共享一个数据通道，或者选用不同的数据通道；

步骤二、多个消息泵分别接收具有相同传输协议的数据