[发明专利]一种数据筛选方法、装置及电子设备

说明书

本申请公开了一种数据筛选方法、装置及电子设备，通过该方法可以在将由从信令日志中提取的键值对转换而得的参数列表，输入设定神经网络模型进行聚类，并通过预设条件对聚类后的参数类进行筛选，从而筛除掉无效参数，避免无效参数导致的无效检测，进而提升了对网元服务应用程序接口进行异常检测的效率。

技术领域

本申请涉及领域网络安全技术，尤其涉及一种数据筛选方法、装置及电子设备。

背景技术

5G核心网采用网络功能虚拟化(Network Functions Virtualization)技术，利用虚拟化技术，将网络功能分割成几个功能区块，分别以软件方式实现，将各个网络功能从专有硬件设备中解放出来，大大增加了5G网络的灵活性并降低了组网成本。然而，网络功能虚拟化技术的引入也为5G核心网带来了新的安全风险。攻击者可以通过访问网元服务应用程序接口进行数据窃取，恶意修改用户通信状态，恶意增删网元等操作。为此，对网元服务应用程序接口的异常检测工作是十分必要的。

对网元服务应用程序接口进行异常检测的常用方法是利用历史流量数据建立检测的安全基线，并输出偏离安全基线的异常信息。其中，安全基线建立的一个重要维度是GET请求参数与POST请求体。POST请求参数与POST请求体都是通信过程中传递的参数数据，以下统称为参数。由于5G核心网(5GC)中通信的参数中存在一些无效参数，若要对所有参数进行检测，会产生较高的时间损耗。

发明内容

本申请提供了一种数据筛选处理方法、装置及电子设备，用以在历史信令日志中筛除掉信令日志中的无效参数，避免无效参数导致的无效检测，进而提升了对网元服务应用程序接口进行异常检测的效率，并降低检测的误报率。

第一方面，本申请提供了一种数据筛选方法，所述方法包括：

从信令日志提取出所有键值对，其中，所述键值对基于所述信令日志中请求参数得到；

将所有键值对中键值相同的键值对转换为参数列表，得到多个参数列表，其中，所述参数列表中包含一个键值和所述键值对应的多个参数值；

计算每个参数列表分别对应的第一特征值以及第二特征值，其中，所述第一特征值基于参数列表长度得到，所述第二特征值基于参数值与第一特征值得到；

将所有的第一特征值以及所有的第二特征值输入设定神经网络模型进行聚类处理，并获取N个参数类，其中，N为大于等于1的整数；

将所述N个参数类中满足预设条件的参数作为有效参数输出。

通过上述方法，从信令日志中提取键值对，并将由所提取的键值对转换而得的参数列表，输入设定神经网络模型进行聚类，并通过预设条件对聚类后的参数类进行筛选，从而筛除掉无效参数，避免无效参数导致的无效检测，进而提升了对网元服务应用程序接口进行异常检测的效率。

在一种可能的设计中，从信令日志提取出所有键值对，所述方法包括：

从信令日志中获取请求参数信息，其中，所述请求参数信息中至少包括参数值、字典和/或列表；

形成所述请求参数信息对应的树形数据结构，其中，所述树形数据结构包括多个节点，所述多个节点中叶子节点包含参数值，非叶子节点包含字典或列表；

提取所述树形数据结构中的多个键值对，其中，每个键值对包括一个叶子节点上的参数值和与所述叶子节点关联的字典或列表。

通过上述方法，对信令日志中请求参数信息的所有键值对进行提取，确定了进行参数信息筛选的范围。

在一种可能的设计中，获取每个参数列表分别对应的第一特征值以及第二特征值，所述方法包括：

分别获取每个参数列表中参数值的个数作为参数列表长度，基于参数列表长度计算每个参数列表的第一特征值；