[发明专利]运维数据特征选择方法和装置

说明书

本发明提出一种运维数据特征选择方法和装置，其中，方法包括：获取原始数据样本；对原始数据样本进行预处理，获取多维数据样本；通过预设算法对多维数据样本进行计算，获取代价表达式计算数值最小时，输出每维数据特征权重；根据每维数据特征权重和预设权重阈值，从多维数据样本中筛选出目标数据集合。由此，提出能够适应实际运维环境的特征选择方法，不依赖于运维人员的经验、大量历史数据和人工标注，同时不依赖于一个算法来检测自身的效果，因此能够适应多种下游预警算法或分析算法，以及结合了有监督算法和无监督算法的优势，既能够学习历史故障的特征，定位高频异常维度，又能对历史上没有故障的维度进行有效的判断。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种运维数据特征选择方法和装置。

背景技术

通常，运维是现代互联网产业的基石，是互联网服务高效稳定运行的保证。在运维中，很多系统会产生复杂的数据信息，这些数据信息通常可以用多个固定的字段和对应的值来描述，将这类数据称为多维数据，数据中的字段就是多维数据的维度。

在实际生产环境中，多维数据是运维中出现频率很高的一种数据，因此对多维数据的分析也是运维工作的重中之重。为了更好地利用多维数据，运维人员会应用多种算法，依据多维数据进行故障预警、业务分析、事件复盘等等。由于多维数据的复杂性，这些算法常常有维度爆炸的问题，即算法的时空复杂度随着数据维度数量指数上升，使得算法很快就变得不再实用。

为了解决这个问题，通常需要对多维数据中的维度进行筛选，只将数据中价值更高的维度交给位于下游的算法(以下称为下游算法)。这样的过程类似于机器学习中的特征选择过程，对运维中的多维数据进行特征选择为关注的问题。

针对关注运维中的特征选择问题，由于其实际应用环境，这类数据有值为离散值、维度间相互有大量冗余、数据分布不平衡(通常表现为正例数量极少)、标注不完全等等特征，给特征选择过程带来了不小的挑战。

相关技术中，在接入系统较少时，可以由运维人员直接对接入的特征进行手工配置。这种情况下，通常需要运维人员依据经验进行选择，并在系统在线运行期间反复调整。然而，运维人员的经验不一定总是可靠，而且全部人工配置的人力成本也不可忽视。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

本发明提出一种运维数据特征选择方法和装置，提出能够适应实际运维环境的特征选择方法，不依赖于运维人员的经验、大量历史数据和人工标注，同时不依赖于一个算法来检测自身的效果，因此能够适应多种下游预警算法或分析算法，以及结合了有监督算法和无监督算法的优势，既能够学习历史故障的特征，定位高频异常维度，又能对历史上没有故障的维度进行有效的判断。

本发明第一方面实施例提出了一种运维数据特征选择方法，包括：

获取原始数据样本；

对所述原始数据样本进行预处理，获取多维数据样本；

通过预设算法对所述多维数据样本进行计算，获取代价表达式计算数值最小时，输出每维数据特征权重；

根据所述每维数据特征权重和预设权重阈值，从所述多维数据样本中筛选出目标数据集合。

本发明实施例的运维数据特征选择方法，通过获取原始数据样本；对原始数据样本进行预处理，获取多维数据样本；通过预设算法对多维数据样本进行计算，获取代价表达式计算数值最小时，输出每维数据特征权重；根据每维数据特征权重和预设权重阈值，从多维数据样本中筛选出目标数据集合。由此，提出能够适应实际运维环境的特征选择方法，不依赖于运维人员的经验、大量历史数据和人工标注，同时不依赖于一个算法来检测自身的效果，因此能够适应多种下游预警算法或分析算法，以及结合了有监督算法和无监督算法的优势，既能够学习历史故障的特征，定位高频异常维度，又能对历史上没有故障的维度进行有效的判断。