[发明专利]一种流量识别模型老化检测方法、装置、设备及系统

说明书

本申请实施例公开了一种模型老化检测方法、装置、设备及系统。该方法包括：先获取检测数据集和基准数据集，检测数据集包括基于流量识别模型对网络中的真实流量数据进行识别得到的识别置信度，基准数据集包括基于流量识别模型对训练该流量识别模型时使用的流量数据进行识别得到的识别置信度。然后，确定检测数据集的分布特征和基准数据集的分布特征。进而，基于检测数据集的分布特征和基准数据集的分布特征，确定流量识别模型是否老化。上述方法通过对识别置信度的分布特征的改变情况进行分析，感知流量数据分布特征的变化情况，据此判断流量识别模型是否老化。

技术领域

本申请涉及通信技术领域，具体涉及一种模型老化检测方法、装置、设备及系统。

背景技术

随着宽带业务的不断发展和变化，宽带数据流量迅猛增加，业务流量如今呈现多样化分布的局势；为了避免被管道化，实现精细化流量经营已成为各大网络运营商的必然出路。作为实现精细化流量经营的关键技术之一，网络应用流量识别技术通过将不同应用的网络流量区分开来，感知用户使用的应用类型，进而根据用户使用的应用类型，为用户相应地提供差异化网络服务，精细化地保障用户的网络体验。

受益于机器学习算法的不断发展与成熟，如今基于应用流量的特征分布，采用机器学习算法获得流量识别模型，利用该流量识别模型识别流量产生的来源，即识别产生该流量的应用，已成为主流的网络应用流量识别技术。但是，由于网络环境和各种应用的应用形式均会不断地发生变化，应用流量的特征分布也会随之动态改变，对于特征分布改变的应用流量，流量识别模型可能难以准确地识别其来源，发生模型老化现象。

为了保证流量识别模型的识别准确率，需要相应地采用检测机制检测流量识别模型是否发生模型老化现象，并在确定发生模型老化现象后，对流量识别模型进行更新训练，保证流量识别模型的识别性能。

发明内容

本申请实施例提供了一种模型老化检测方法、装置、设备及系统，能够有效地检测流量识别模型是否发生模型老化现象，以便及时地对流量识别模型进行优化更新，保证流量识别模型的模型性能。

有鉴于此，本申请第一方面提供了一种模型老化检测方法，采用该方法检测流量识别模型是否老化时，先获取检测数据集和基准数据集。检测数据集中通常包括大量的检测数据，这些检测数据为基于该流量识别模型对网络中的真实流量数据进行识别得到的识别置信度，该网络中的真实流量数据为流量识别模型在实际应用过程中采集的流量数据。基准数据集中通常包括大量的基准数据，这些基准数据为基于流量识别模型对训练流量数据进行识别得到的识别置信度，该训练流量数据为训练该流量识别模型时使用的流量数据。上述识别置信度能够表征其对应的流量数据属于各应用类别的概率。然后，确定基准数据集的分布特征以及检测数据集的分布特征。进而，基于基准数据集的分布特征和检测数据集的分布特征之间的差异度，确定所检测的流量识别模型是否老化。

上述方法在检测模型老化的过程中，通过对识别置信度分布特征的改变情况进行分析，感知输入至该流量识别模型的流量数据分布特征的变化情况，据此判断流量识别模型是否老化。相比一些技术方案中基于包括真实识别结果的检测样本对模型进行老化检测，本申请提供的模型老化检测方法大大降低了模型老化的检测成本，并且保证能够及时地检测到模型老化。在本申请实施例第一方面的第一种实现方式中，确定基准数据集的分布特征以及检测数据集的分布特征时，可以将基准数据集中各基准数据以及检测数据集中各检测数据，均映射至m维空间，此处的m等于流量识别模型所能识别的应用类别的数量。根据各基准数据在m维空间中的分布情况，确定基准数据集的分布特征。根据各检测数据在m维空间中的分布情况，确定检测数据集的分布特征。