[发明专利]用于分散计算网络的可编程实时计算和网络负载感知方法

说明书

本发明公开了一种用于分散计算网络的可编程实时计算和网络负载感知方法，包括以下步骤：(1)在交换芯片内部通过单节点负载和状态嗅探技术，实现对于本节点的计算和网络负载、以及状态的收集；通过重构的协议报文将信息同步至其他分散计算节点；(2)在交换芯片内部通过端到端负载和状态嗅探技术，实现网络流量传输过程中每一节点的负载和状态信息收集，堆栈式地将信息携带在网络流量中，在末节点将路径信息进行归集；(3)通过计算和网络状态采集和阈值计算，设置流量采集点，实现对所监测网内的所有流量进行分析。本发明实现了网络实时的负载、时延和抖动感知，满足了分散计算网络对可编程感知和可编程调度的能力需求。

技术领域

本发明涉及计算机网络技术领域，特别是涉及一种用于分散计算网络的可编程实时计算和网络负载感知方法。

背景技术

在分散计算网络中，网络感知能力为任务调度系统提供计算节点信息的收集，维护功能，是分散计算网络的关键环节。当前在国外，网络感知技术处于研究阶段，形成了一批关于在分散计算网络中网络状态感知的成果，同时搭建了测试平台，并且通过IPERF，PING，OWAMP进行理论性验证，分析网络在不同负载情况下的丢包，时延和抖动数据，国外在该领域的研究尚未进入产业化环节，技术可以部分复用在数据中心和信息网的感知技术，但是需要具备可编程能力以匹配分散计算的感知需求。

基于TCP/IP协议栈的交换机和路由器技术包袱重，在当前TCP/IP技术架构下叠加分散计算网络设计难度过高。美国的Barefoot公司推出了两颗可编程交换芯片和系列交换产品，具备支持可编程调度技术的部分基础，但是其交换带宽过大，分别是6.5Tbps和12.8Tbps，功耗无法满足部分边缘应用的需求。分散计算的网络设备依旧在理论阶段，协议标准和产业链均未成熟。

国内网络感知技术落后国外三到五年，当前主要采用镜像到服务器进行分析，以及通过Sflow技术对转发面进行端口收发报文个数的统计，采样流量进行简单的流分析。尚未能够深入到网络设备硬件内部，具备网络实时的负载、时延和抖动感知。技术上无法匹配分散计算节点众多，网络状态实时变化快，计算任务对网络负载量化分析等要求。

国内经过近几年技术的发展，已经具备了一批具备实力的网络的供应商和具备网络芯片能力的本土企业，但当前技术处于SDN的时代技术演进，尚未能满足分散计算网络对可编程感知和可编程调度的能力需求。

总之，现有网络感知技术存在的主要问题：当前技术尚未能够深入到网络设备硬件内部，具备网络实时的负载、时延和抖动感知。技术上无法匹配分散计算节点众多，网络状态实时变化快，计算任务对网络负载量化分析等要求。且处于SDN的时代技术演进，尚未能满足分散计算网络对可编程感知和可编程调度的能力需求。

发明内容

本发明的目的是克服现有技术的缺陷，提供一种应用于分散计算网络的可编程实时计算和网络负载感知方法，该方法深入到网络设备硬件内部，具备网络实时的负载、时延和抖动感知，能够满足分散计算网络对可编程感知和可编程调度的能力需求。

为了解决上述技术问题，本发明提供一种用于分散计算网络的可编程实时计算和网络负载感知方法，包括以下步骤：

(1)在交换芯片内部通过单节点负载和状态嗅探技术，实现对于本节点的计算和网络负载、以及状态的收集；通过重构的协议报文将信息同步至其他分散计算节点；

(2)在交换芯片内部通过端到端负载和状态嗅探技术，实现网络流量传输过程中每一节点的负载和状态信息收集，堆栈式地将信息携带在网络流量中，在末节点将路径信息进行归集；

(3)通过计算和网络状态采集和阈值计算，设置流量采集点，实现对所监测网内的所有流量进行分析。

进一步地，步骤(1)中，采用硬件级网络嗅探系统，通过流采样和统计采样两种采样方式，计算负载规划，网络规划，网络监控，用户监控和分析。