[发明专利]一种支持优先级的标签化网络栈方法和系统

说明书

本发明公开了一种支持优先级的标签化网络栈方法和系统，其中服务器网络全数据通路支持优先级的优化系统包括：支持数据包按优先级分流的标签化网卡模块、支持优先级的用户态协议栈模块、以及支持优先级的应用事件处理框架模块。本发明提供的一种数据中心服务器网络全数据通路优化支持优先级的方法和系统，能有效改善数据中心服务器上资源使用的不确定性，可期待高效地获得服务吞吐能力和高优先级服务请求尾延迟的双数量级改进。

技术领域

本发明涉及数据中心和云计算服务器网络优化领域，特别涉及一种支持优先级的标签化网络栈方法和系统。

背景技术

随着以无人机、传感器网络等为代表的移动和物端技术的应用，云服务需要面对的并发度有几个数量级的提高，具有明显的高并发、低延迟的需求。物端的行为、动机、访问时间均具有不确定性，海量并发请求之间对资源的无意识竞争，会导致服务延时的波动，形成尾延迟效应。美国工程院院士、谷歌数据中心资深专家Jeffrey Dean博士等早在2013年就总结了数据中心“尾延迟(Tail Latency)”问题，一般以99分位延迟来衡量，会明显高于平均延迟。

长尾延迟将严重影响服务质量，甚至会造成直接或间接的经济损失。例如，谷歌因为用户响应时间增加0.5秒广告而收入下降20％，Dropbox因为用户体验差而离开亚马逊云。为保证服务器一定的尾延迟，通常要牺牲服务器的利用率，用空闲大量备用资源的方式来保障尾延迟，从而造成资源和空间的浪费。如何保障高吞吐低尾延迟是一个突出的挑战问题。

传统网络栈主要涉及网卡、驱动、TCP/IP协议栈、应用等多个层次，而当前主要研究仍然是在某一层次优化通用的整体延迟层面，例如用户态协议栈或内核旁路、智能网卡offload、调度优化等。传统内核的网络协议栈因处理过程复杂，是产生服务响应尾延迟的重要因素之一。传统内核协议栈与整个内核代码集成在一起，难以进行深度定制和优化，因此无法针对服务的尾延迟等指标和优先级等可区分请求进行特殊的优化。相反，用户态协议栈因为不依赖内核和系统服务，可以有效避免不必要的系统调用和内存拷贝，精简协议处理流程，提高并行处理能力，直接和应用服务绑定，除了性能优势之外，也具有更大的灵活性和可控性。国际上用户态网络协议栈是比较新的研究方向，现已有LWIP、mTCP、F-Stack、SeaStar等相关研究。但现有协议栈方案均未区分应用请求的优先级，一系列的排队还是不可避免的对整个请求响应过程带来了巨大的延迟，致使在服务器内排队严重的云计算/数据中心环境中，高优先级请求的延迟得不到保障。一个明显的情况是，因为现有用户态协议栈方案仅基于五元组等TCP/IP包头内容进行流处理，忽略了应用层信息等可用来区分请求优先级的内容，致使面对数据中心内一条长流承载多个具有不同优先级请求的这类应用，不能区分请求的优先级，而使得高优先级请求的延迟得不到保障。

观察到各级排队延迟给整个请求响应过程所带来的延迟问题，自然而然会想到一个解决办法：对于那些亟需响应的请求，是否可以让他们不和普通的请求一起排队，从而避免这些排队延迟以严格保证其响应速度？然而，真正开展软硬件协同的网络全数据通路优化是存在多方面挑战的，从网卡到驱动到协议栈再到应用层次，任一层次的忽视或处理不当都将使优化效果打折扣。

发明内容

本发明的目的在于面对服务器内排队严重的云计算/数据中心环境，提出一种新的服务器网络栈设计方案，以保障高吞吐的同时确保高优先级请求的低尾延迟。