[发明专利]一种多维数据自适应采集方法及系统

说明书

本发明属于大数据采集技术领域，公开了一种多维数据自适应采集方法及系统。本发明利用降维技术对多维数据进行降维，将多维数据降维到一维，得到多维数据的一维主成分；利用原始多维数据的一维主成分，作为判断数据变化的基准数据，输入到一维自适应数据采集算法中；利用一维自适应数据采集算法调整多维大数据的采集过程。因为降维技术中的PCA利用多维数据的协方差进行降维，而一维数据采集中调整数据的采集频率也是基于数据的变化大小调整，所以本发明是可行的，并且实验表明本发明的可行性和有效性。本发明的应用极广，包括所有应用多维大数据采集的业务场景，其可以在保证数据采集精度的基础上提高数据采集的性能，进而提高应用业务的效率。

技术领域

本发明属于大数据采集技术领域，尤其涉及一种多维数据自适应采集方法及系统。

背景技术

目前，业内常用的现有技术是这样的：当前互联网应用场景下，数据变得越来越重要。数据是支持很多业务的实现基础，数据采集是大多数与数据相关的业务系统的性能瓶颈。比如在网络安全领域通过采集通信数据，进而分析数据的特征，以检测攻击和入侵，从而实现网络系统防护。但是大数据时代，数据具有5V特性，传统的基于统计抽样方法(周期抽样，泊松抽样和随机抽样)的数据采集已经不能满足当前的需求。进一步看，随着人工智能的发展，智能化的业务渗透到人们生活的方方面面，因此当前的数据采集的目标通常是多维的数据而不是一维数据。综上所述，自适应的多维大数据采集方法是当前大数据时代所亟需解决的难题。

除了传统的基于统计抽样的数据采集方法。现有的工作中已经提出了针对于一维数据的自适应采集方法，比如基于回归分析和时间序列分析的预测算法。其可以实现自适应的调整数据采集的频率，从而在保证数据采集精度基础上，减少数据采集量，提高数据采集性能。但是这些方法不能针对于多维数据，无法解决多维数据的自适应采集问题。在一维自适应数据采集算法中，数据的自适应采集调整过程中是基于数据本身的变化：当数据的数据量大，则提高数据采集频率，采集更多的数据，以保证数据采集精度；而当数据的数据量小，则降低数据采集频率，减少数据采集对应用系统的负担。但对于多维数据，数据采集的自适应调整过程中，应该以多维中的哪种数据作为基准参考数据是一个未解决的难题。在当前的工作中并未给出解决方案，也就是当前研究工作中没有关于多维数据采集的自适应采集方案。

综上所述，现有技术存在的问题是：当前企业中多数还是采用传统的统计抽样方法进行采集，比如周期，随机，分层和泊松抽样等。其可以直接采集多维数据但不能实现自适应采集。而且目前针对于数据分析的数据采集都是全采集。但是在当前大数据时代，数据量越来越大，需要采用自适应抽样以解决降低数据采集量。所以我们提出了针对于多维数据的自适应抽样方法。没有提出针对于多维大数据的自适应采集方法。但是多维大数据的自适应采集方法在未来大数据时代的价值非常高，其可以避免数据采集性能瓶颈问题，从而更好地支撑业务的实现。

解决上述技术问题的难度和意义：当前的工作中没有针对于多维大数据采集问题提出相关解决方案。当前通常还是采用传统的抽样算法(周期，随机和泊松抽样)实现数据采集。但是存在的问题是无法基于上下文实现自适应的采集调整，从而在减少采集数据量的同时也降低了数据采集的精度。而当前已经提出的基于回归预测或时间序列分析的自适应采集方案都是针对于一维数据，而不能应用于多维数据。因为其没有解决在多维数据中寻找基准数据的问题，即没有一个基准数据用于调整数据采集的过程，也就无法实现多维大数据的自适应采集。

发明内容

针对现有技术存在的问题，本发明提供了一种多维数据自适应采集方法及系统。

本发明是这样实现的，一种多维数据自适应采集方法，利用一维数据自适应采集算法，结合降维技术，实现多维数据采集的自适应调整，实现多维数据的采集。所述多维数据自适应采集方法包括：

步骤一，利用降维技术：对采集目标的多维数据进行降维，将多维数据降维到一维；

步骤二，利用原始多维数据降维得到的一维主成分，作为判断数据变化的基准数据，调整多维数据的采集频率，实现多维数据的自适应采集。