[发明专利]特征漂移幅度的识别方法、装置、设备和存储介质

说明书

本申请提供一种特征漂移幅度的识别方法、装置、设备和存储介质，该方法中，设备按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样本，根据极端梯度提升模型对每个子数据样本进行训练，得到每个特征在每个时间段中的重要性指标，根据每个特征在不同时间段中的重要性指标，获取所述特征的漂移幅度，基于模型对特征漂移的幅度进行识别，简单易用，且准确度较高。

技术领域

本申请实施例涉及大数据技术领域，尤其涉及一种特征漂移幅度的识别 方法、装置、设备和存储介质。

背景技术

机器学习可以用于多种场景，比如目前互联网中的推荐系统，搜索系统 等。机器学习过程中需要使用到机器学习模型，而为了训练到更准确地模型， 需要对采集得到的数据中的特征进行各种指标的识别。特征漂移是指特征随 着时间而变化，目前常用的技术方案中，对特征漂移的识别方式主要是基于 分布的方式进行检测，人工的对采集的各种类型的特征进行处理，根据经验 获得一些指标来实现漂移的检测。

然而，由于数据的场景的复杂性，通过人工经验对数据进行分析识别特 征漂移不仅耗时交大，而且准确度不高。

发明内容

本申请实施例提供一种特征漂移幅度的识别方法、装置、设备和存储 介质，以解决由于数据的场景的复杂性，通过人工经验对数据进行分析识别 特征漂移不仅耗时交大，而且准确度不高的问题。

本申请第一方面提供一种特征漂移幅度的识别方法，包括：

按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样 本；

根据极端梯度提升(eXtreme Gradient Boosting，xgboost)模型对每个子 数据样本进行训练，得到每个特征在每个时间段中的重要性指标；

根据每个特征在不同时间段中的重要性指标，获取所述特征的漂移幅度。

在一种具体实现方式中，所述根据每个特征在不同时间段中的重要性指 标，获取所述特征的漂移幅度，包括：

根据每个特征在不同时间段中的重要性指标，获取每个特征随时间变化 的偏差；

对每个特征的偏差进行排序，得到每个特征的漂移幅度。

在一种具体实现方式中，所述按照时间序列，将预先获取到的数据样本 进行划分，得到多个子数据样本之前，所述方法还包括：

采集获取所述数据样本，所述数据样本中包括至少一个特征，以及每个 特征的时间信息。

在一种具体实现方式中，所述按照时间序列，将预先获取到的数据样 本进行划分，得到多个子数据样本，包括：

根据每个特征的时间信息，按照预设时间间隔按照时间序列将所述数 据样本进行划分，得到所述多个子数据样本。

本申请第二方面提供一种特征漂移幅度的识别装置，包括：

划分模块，用于按照时间序列，将预先获取到的数据样本进行划分，得 到多个子数据样本；

处理模块，用于根据极端梯度提升模型对每个子数据样本进行训练，得 到每个特征在每个时间段中的重要性指标；

获取模块，用于根据每个特征在不同时间段中的重要性指标，获取所述 特征的漂移幅度。

可选的，所述获取模块具体用于：

根据每个特征在不同时间段中的重要性指标，获取每个特征随时间变化 的偏差；

对每个特征的偏差进行排序，得到每个特征的漂移幅度。

可选的，所述装置还包括：