[发明专利]一种基于数据精简的高效异常流量检测方法和系统

权利要求书

1.一种基于数据精简的高效异常流量检测方法，其特征在于，包含数据精简过程和精简化异常流量检测模型训练过程；

所述数据精简过程中，获取基站数据库中的真实数据；随机初始化模拟数据；随机初始化一个异常流量检测模型；分别使用真实数据和模拟数据训练模型，记录模型在两组数据上的损失函数和对应的参数梯度；计算两组梯度之间的欧式距离；最小化所述欧式距离以更新模拟数据；重复上述过程，直到模拟数据收敛，记录模拟数据，并清空基站数据库中的真实数据；所述精简化异常流量检测模型训练过程中，用户选定一种异常流量检测模型，初始化该模型；获取之前保存的模拟数据；使用模拟数据训练该模型。

2.根据权利要求1所述的基于数据精简的高效异常流量检测方法，其特征在于，所述数据精简过程具体为：

步骤100，获取基站数据库中现有的真实数据集，将其记作T；

步骤101，随机初始化模拟数据集S；

步骤102，指定最大迭代次数K；

步骤103，随机初始化一个异常流量检测模型M；

步骤104，从真实数据集T中随机采样一小批样本B_T，从模拟数据集S中随机采样一小批样本B_S；

步骤105，依据模型M，分别计算其在B_T上的损失函数值l_T和在B_S上的损失函数值l_S；

步骤106，分别依据l_T和l_S计算模型M的参数上的梯度g_T和g_S；

步骤107，计算g_T和g_S之间的欧氏距离，基于该欧式距离计算模拟数据集小批B_S上的梯度，并基于优化技术更新这一小批模拟数据集；

步骤108，基于优化技术，使用梯度g_T更新模型M；

步骤109，检查模拟数据集S是否收敛，若未收敛且当前迭代次数未达到K，则回到步骤104，否则进入步骤110；

步骤110，记录更新后的模拟数据集S，清空数据库中的真实数据集T。

3.根据权利要求1所述的基于数据精简的高效异常流量检测方法，其特征在于，所述精简化异常流量检测模型训练过程具体为：

步骤200，获取更新后的模拟数据集S；

步骤201，指定最大迭代次数K；

步骤202，随机初始化一个异常流量检测模型M；

步骤203，从模拟数据集S中随机采样一小批样本B_S；

步骤204，依据模型M，计算其在B_S上的损失函数l_S；

步骤205，依据l_S计算模型M的参数上的梯度g_S；

步骤206，基于相关优化技术，使用梯度g_S更新模型M；

步骤207，检查模型M是否收敛，若未收敛且当前迭代次数未达到K，则回到步骤203，否则进入步骤208；

步骤208，输出训练好的模型M。

4.根据权利要求1所述的基于数据精简的高效异常流量检测方法，其特征在于，从基站存储的真实数据库中获取真实数据集T，真实数据集T中的数据是真实用户的历史记录，并附有异常与否的标记。

5.根据权利要求1所述的基于数据精简的高效异常流量检测方法，其特征在于，随机初始化一组模拟数据集S，这组数据集以矩阵的形式表示，每行表示一个样本，每列表示一个特征。

6.根据权利要求1所述的基于数据精简的高效异常流量检测方法，其特征在于，所述优化技术是指梯度下降法，利用该方法，对损失函数求一个局部最优解，并更新目标参数。

7.一种基于数据精简的高效异常流量检测系统，其特征在于，包含数据精简模块和精简化异常流量检测模型训练模块；

所述数据精简模块，获取基站数据库中的真实数据；随机初始化模拟数据；随机初始化一个异常流量检测模型；分别使用真实数据和模拟数据训练模型，记录模型在两组数据上的损失函数和对应的参数梯度；计算两组梯度之间的欧式距离；最小化所述欧式距离以更新模拟数据；重复上述过程，直到模拟数据收敛，记录模拟数据，并清空基站数据库中的真实数据；所述精简化异常流量检测模型训练模块，用户选定一种异常流量检测模型，初始化该模型；获取所述数据精简模块保存的更新后的模拟数据；使用模拟数据训练异常流量检测模型。