[发明专利]一种DPI设备的数据处理方法及相关的DPI设备

说明书

本发明实施例涉及数据处理领域，尤其涉及一种DPI设备的数据处理方法及相关的DPI设备，用于减少存储数据的量。本发明实施例中，获取数据流信息并确定数据流信息的目标用户；确定目标用户的数据流记录；若确定数据流记录中存在与数据流信息的用户属性信息一致的第一记录，则根据数据流信息更新第一记录中的统计属性信息。由于本发明实施例中，确定目标用户的数据流记录中存在与获取到的数据流信息的用户属性一致的第一记录时，根据数据流信息更新第一记录中的统计属性信息，不需要将获取的数据进行存储，减少了存储的数据量；目标用户的数据流记录是以用户为存储单位，在整个网络中用户的数量远小于数据流的数量；因此，进一步减少存储的数据量。

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种DPI设备的数据处理方法及相关的DPI设备。

背景技术

近年来，网络的规模不断扩大，网络的用户数不断增加，网络应用和业务种类不断丰富，由此也带来了对网络分析的不便。如何高效分析网络状况、以及处理网络危机、快速感知用户行为，挖掘数据价值等等，成为了现今网络分析的重要难题。

目前，常用的一种网络数据流量监控方法为深度包检测(Deep PacketInspection，简称：DPI)技术，它是一种7层协议分析，除了对4层以下(MAC地址、IP层、传输层)的数据业务进行分析外，还增加了应用层分析(应用层协议、载荷内容等)，数据包的连接状态等；可以识别各种应用类型，作为运营商对网络流量监控的一种辅助手段。通过DPI设备可以把链路信息、数据包信息、数据分析结果信息等保存下来，并展示在环球信息网(World Wide Web，简称WEB)。

现有技术中DPI设备往往使用数据库来保存这些信息，将这些信息对应的数据流采用逐条插入的方式保存。然而，随着网络的发展，网络数据量越来越庞大、DPI设备保存的内容越多，会造成DPI设备保存的效率越低，而且业务方面也无法做到精细。特别是对于大型网络环境，采用多张网卡10Gb，数据流达几百万条每秒级别，DPI设备如果使用数据库逐条插入方式保存，需要保存的数据量也相当庞大，且需要占用大量存储空间。

发明内容

本发明实施例提供了一种DPI设备的数据处理方法及相关的DPI设备，用于减少DPI设备存储的数据量。

本发明实施例提供一种DPI设备的数据处理方法，包括：获取数据流信息并确定所述数据流信息的目标用户；获取所述目标用户的数据流记录；若确定所述数据流记录中存在与所述数据流信息的用户属性信息一致的第一记录，则根据所述数据流信息更新所述第一记录中的统计属性信息。

可选地，若确定所述数据流记录中不存在述第一记录，则根据所述数据流信息在所述目标用户的数据流记录中新增第二记录，所述第二记录的统计属性信息根据所述数据流记录中的统计属性信息来确定。

可选地，所述确定所述数据流信息的目标用户，包括：根据网卡类型和相应的预设条件确定所述数据流信息的目标用户；其中，所述预设条件包括：在确定所述网卡类型为上/下行双网卡的情况下，将通过上行网卡的数据流信息中的源网络协议IP地址确定为所述目标用户，将通过下行网卡的数据流信息中的目的IP地址确定为目标用户；在确定所述网卡类型为单网卡的情况下：若确定所述数据流信息中的源IP地址为所述目标用户所在网段中的任一IP地址时，则确定所述源IP地址为目标用户；若确定所述数据流信息中的目的IP地址为所述目标用户所在网段中任一IP地址，则确定所述目的IP地址为目标用户；所述源IP地址与所述目的IP地址不在同一网段中。

可选地，所述根据所述数据流信息更新所述第一记录中的统计属性信息之后，还包括：从所述目标用户的数据流记录中获取统计时间段内的目标数据流记录；针对所述目标数据流记录中的至少一个用户属性信息，执行：确定所述用户属性信息对应的统计属性信息在所述目标数据流记录的统计属性信息的总和中的占比。

可选地，在预设时段，将存储于内存的所述目标用户的数据流记录导入数据库；其中，所述预设时段为网络流量低于流量阈值的时段。