[发明专利]面向Top-Down网络测量系统的并行测量任务的优化方法及系统

说明书

本发明提供了一种面向Top‑Down网络测量系统的并行测量任务的优化方法及系统，针对Top‑Down网络测量系统在执行并行测量任务时存在的扩展性问题，提出了复用查询结果的优化技术，通过对Top‑Down网络测量系统的声明式接口、编译模块进行扩展，降低了系统在执行并行测量任务时的开支，保证了系统的扩展性。

技术领域

本发明属于计算机网络测量技术领域，具体涉及一种面向Top-Down网络测量系统的并行测量任务的优化方法及系统。

背景技术

流量工程、网络安全等诸多网络管理任务需要对网络流量的统计信息进行分析，因此依赖于网络测量提供实时和准确的网络流量统计信息收集。

现有的网络测量系统可以分成两大类：

一类是Bottom-Up的网络测量系统，这一类网络测量系统根据每个网络设备上可支持的测量功能(如端口镜像)配置测量规则采集数据，上层的测量分析任务只能依据测量规则可提供的数据进行分析处理，以获得想要的信息。其不足在于，由于测量规则的配置与上层测量任务的需求分离，数据平面采集到的数据不仅可能包含大量无效的数据，还可能存在数据遗漏，这种情况会导致上层测量任务的数据处理代价大、准确性降低，例如用户想要针对SYN泛洪攻击进行测量，而网络设备只支持sFlow采样，这样sFlow会采集到大量非SYN的、无用的数据包，增加测量任务的分析难度，并且采样过程中将错过大部分SYN数据包、导致测量结果精度很低。

另一类是Top-Down网络测量系统，这类测量系统直接以上层测量任务的意图为输入，通过一系列编译和优化，将测量意图翻译成底层数据平面设备可执行的测量规则，控制数据平面按照这些测量规则收集数据，进而为上层的测量任务精准地提供数据。Top-Down网络测量系统架构如

图1所示，测量任务的意图通过一个声明式接口表达为查询，再通过编译模块编译为可执行的规则并分布式部署到网络设备上。测量系统中的查询(Query)是指由系统预定义的基本处理流程构成的处理流程序列，例如某些Top-Down网络测量系统中，就以Filter、Map等数据流操作作为基本处理流程，此时查询即表现为数据流操作序列。

两类测量系统相比而言，Top-Down网络测量系统可有效避免Bottom-Up网络测量系统存在的采集信息大而不全、造成的测量开支高、适用场景有限的问题。

现有技术的Top-Down网络测量系统也存在问题。Top-Down网络测量系统根据用户测量任务按需采集，当存在多个并行测量任务时，针对每个测量任务都会独立地进行数据采集。这些任务虽然由不同用户发起，但有可能是相同的任务，这样会造成重复测量。另外，对于不同的测量任务，其采集数据的处理过程可能有部分是相同的，也会造成重复测量。因此，在一个大型网络中，对来自不同用户(如网络管理员、应用开发者、终端用户)和不同分析应用(如攻击检测、攻防效能评估、网络性能分析等)的数量众多的不同测量需求，为每个测量需求独立地进行数据采集会导致测量开支随测量任务数量线性增长，影响测量系统的扩展性。

发明内容

为解决上述现有技术中存在的问题，提供一种面向Top-Down网络测量系统的并行测量任务的优化方法，包括：

步骤1，将每个测量任务表达为一个查询，每个所述查询由一个或者多个基本处理流程构成，并且包括用于指定所述查询的待测量数据的源属性；

步骤2，基于所述查询的源属性，提取多个所述查询中的公共处理流程，所述公共处理流程至少包括一个基本处理流程；

步骤3，通过复用所述公共处理流程，对每个所述查询进行优化形成新的查询；

步骤4，将所述新的查询编译生成用于部署到网络设备的规则或代码。

优选的，所述步骤2包括：