[发明专利]数据处理方法、数据采集设备和数据计算设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

数据采集设备采集第一数据，所述第一数据是基于网络流量得到的数据；

所述数据采集设备确定所述第一数据与第二数据之间的偏差值；

所述数据采集设备根据所述第一数据与第二数据之间的偏差值判断是否向数据计算设备上报所述第一数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据与第二数据之间的偏差值判断是否向数据计算设备上报所述第一数据，包括：

在所述第一数据与第二数据之间的偏差值大于或等于第一阈值的情况下，向所述数据计算设备上送所述第一数据。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述第一数据与第二数据之间的偏差值，包括：

将所述第一数据输入数据分布模型，得到所述第一数据与第二数据之间的偏差值，其中，所述数据分布模型是基于所述第二数据训练得到的。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第二数据与所述第一数据的采集时间间隔小于或等于第二阈值。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述数据分布模型是由所述数据计算设备下发至所述数据采集设备的。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二数据包括由所述数据采集设备和/或其他数据采集设备上送至所述数据计算设备的数据。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述第一数据与第二数据之间的偏差值判断是否向数据计算设备上报所述第一数据，包括：

在所述第一数据与第二数据之间的偏差值小于所述第一阈值的情况下，通过采样方式向所述数据计算设备上送所述第一数据；或者

在所述第一数据与第二数据之间的偏差值小于所述第一阈值的情况下，省略向所述数据计算设备上送所述第一数据。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述数据采集设备采集第一数据包括：

所述数据采集设备通过旁路连接的报文转发设备支持的流量镜像功能采集所述第一数据，所述报文转发设备包括交换机或路由器；或者，

所述数据采集设备通过分光设备采集所述第一数据；或者，

所述数据采集设备作为计算机设备上的软件代理节点采集所述第一数据；

其中，所述第一数据包括以下数据中的至少一种：一条流的上行字节数、一条流的上行报文数、汇集的流的数目、上行流量的服务类型TOS值、传输控制协议TCP三次握手的标志、TCP/用户数据报协议UDP源端口、源地址、源地址子网掩码的连续比特数、目的地址、目的地址子网掩码的连续比特数、入接口的接口索引、TCP/UDP目的端口、流结束的时间或流开始的时间。

9.一种数据处理方法，其特征在于，包括：

数据计算设备接收一个或多个数据采集设备发送的第二数据，所述第二数据是基于网络流量得到的数据；

所述数据计算设备基于所述第二数据训练数据分布模型；

将训练好的数据分布模型下发至所述一个或多个数据采集设备中的至少一个数据采集设备，其中，所述训练好的数据分布模型用于确定第一数据与所述第二数据之间的偏差值，所述第一数据的采集时刻晚于所述第二数据的采集时刻。

10.根据权利要求9所述的数据处理方法，其特征在于，所述基于所述第二数据训练数据分布模型，包括：

将所述第二数据输入神经网络模型进行降维压缩，再展开还原，得到重构数据；

优化所述神经网络模型的参数，直至所述重构数据与所述第二数据之间的差值小于或等于第四阈值，得到训练好的神经网络模型；

将所述第二数据输入所述训练好的神经网络模型进行降维压缩，得到所述第二数据的特征编码；

基于所述特征编码进行聚类或分类，得到所述数据分布模型。