[发明专利]一种基于压缩感知理论的大规模数据采集方法及装置

说明书

本发明公开了一种基于压缩感知理论的大规模数据采集方法及装置，包括：上级主机获取下级主机发送的采样数据，采样数据是下级主机根据动态采样参数矩阵对下级主机内存库中数据进行采集得到的，动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的，依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和采样数据进行数据重构。下级主机通过动态采样参数矩阵进行数据压缩采集，然后通过上级主机进行数据重构，可以减少数据采集过程中的系统资源消耗，提高了数据采集的效率，适用于大规模数据采集。

技术领域

本发明涉及数据采集领域，尤其涉及一种基于压缩感知理论的大规模数据采集方法及装置。

背景技术

随着数据采集和监控系统在轨道交通、智慧楼宇等行业应用越来越广泛，监控的设备、应用越来越多，数据量也日益增大。一般来说，传统的数据采集协议为了及时获取较为准确的数据，会以一较小的固定周期采集全量数据，消耗较大网络和软硬件资源，给系统造成极大的压力。当数据量日益增大时，这种采集方式会很快满足不了需求，因此需要一种面向大规模数据的采集算法。针对这个问题，综合监控领域未有相关专利发表。然而，在其他领域，针对大规模数据采集，传统的做法有两种，一种是增加采集设备，一种是在传输的过程中压缩。

这两种方式并不能从根本上解决综合监控领域面临的数据规模日益增大的问题，首先一味的增多采集设备，会极大的增加成本。而且随着采集设备的增多，采集的数据量会更多，对软件的数据处理模块造成更大的压力，对硬件的要求也会更高，而达到软件以及硬件的瓶颈时，面对海量的数据，面临的后果就只有一个：系统处理不过来。随即会产生丢失关键数据等一系列问题。而在传输的过程中进行压缩，虽然会减轻网络的压力，但会增加数据处理模块的压力，因为增加了压缩数据以及解压缩数据的步骤。

发明内容

本发明实施例提供一种基于压缩感知理论的大规模数据采集方法及装置，以提高数据采集效率，节省网络及系统资源。

第一方面，本发明实施例提供了一种基于压缩感知理论的大规模数据采集方法，包括：

上级主机获取下级主机发送的采样数据，所述采样数据是所述下级主机根据动态采样参数矩阵对所述下级主机内存库中数据进行采集得到的；所述动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的；

所述上级主机依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构。

上述技术方案中，下级主机通过动态采样参数矩阵进行数据压缩采集，然后通过上级主机进行数据重构，可以减少数据采集过程中的系统资源消耗，提高了数据采集的效率，适用于大规模数据采集。

可选的，所述上级主机根据采样点的固有物理特征参数矩阵确定所述动态采样参数矩阵，包括：

所述上级主机获取采样点的固有物理特征参数矩阵；

所述上级主机根据所述采样点的固有物理特征参数矩阵，生成采样的历史数据的变化特征参数矩阵；

所述上级主机根据所述采样的历史数据的变化特征参数矩阵，生成所述动态采样参数矩阵。

可选的，所述上级主机依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构之后，还包括：

所述上级主机根据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据，对所述采样的历史数据的变化特征参数矩阵进行修正；

所述上级主机根据修改后的所述采样的历史数据的变化特征参数矩阵生成所述动态采样参数矩阵。

可选的，所述上级主机进行数据重构，包括：

所述上级主机使用贪婪算法进行数据重构。