[发明专利]一种多源网络流量内容完整还原方法和装置

说明书

本发明公开了一种多源网络流量内容完整还原方法，包括以下步骤：S1011：双向流的情况下，采用传输URL、客户端IP地址ClientIP、原始文件总长度TotalLen三者的组合，计算其哈希值h_final作为最终的文件标识ID，涉及高速网络流量处理‑内容还原‑多源传输文件完整还原技术领域。该多源网络流量内容完整还原方法旨在解决大文件访问下载时，用户端、服务端为提高用户体验和下载效率而采取的多线程、分片段传输时，从不同的服务端下载同一文件的不同偏移、不同编号的文件片段，从而导致流量被分流到多个流量审计设备而无法还原原始完整文件的问题，满足了企业或组织对文件内容审查的需求，在检测不良内容、防止泄密隐患等方面有明显作用。

技术领域

本发明涉及高速网络流量处理-内容还原-多源传输文件完整还原技术领域，具体为一种多源网络流量内容完整还原方法和装置。

背景技术

网络流量内容还原在互联网信息内容安全审计中有广泛的应用需求，一些安全性要求较高的企业或组织，对互联网传输的音视频内容有较强的监测需求，通过对出入互联网的音视频流量进行实时监测审计，以及时发现其中的不良内容，例如，一些网络服务提供商，需要对用户访问的音视频内容进行审查，再比如，一些从事特殊行业的重要单位和组织，需要对其单位流出的文件进行审查，以发现其中可能存在的泄密信息，随着互联网带宽的增长、文档内容的多媒体化以及网络存储空间的廉价化，网络中出现越来越多的较大文件，一些用户代理为提高用户的访问体验和下载速度，会采取文件分片和多线程并发访问的下载方式，从而导致同一个文件被拆分到多个链接和应用层会话中传输，这对传统的以单链接、单会话为单位的流量还原技术带来巨大挑战。

由于单链接、单会话还原的文件是破损、不完整的，所以需要对多个会话的内容进行聚合，以实现完整文件的还原，但是，服务提供商为了保证服务高可用，通常采用以CDN技术为主导的多点接入的服务提供形式，这就导致用户通过同一个URL访问同一个文件，会被分配到不同的服务节点，即访问了不同的服务端IP地址，形成了“多源”现象，通常以旁路形式部署的网络流量审计设备，分光器一般以二元组（客户端IP地址、服务端IP地址）或以上为分流策略，这就导致用户访问的同一个文件的多个片段会被多台流量审计设备处理，其中任意一台都会因为文件不完整而无法还原原始文件的内容。

目前的流量审计设备一般都是独立进行运作的，目标是单链接、甚至是单应用层会话的内容还原，专利CN 201110398880网络文件还原方法和装置提出了网络报文级的流量重组和文件还原方法，是在单台流量审计设备上进行的操作，专利CN 201010112581一种网络流量还原方法提出了以TCP链接为单位的内容还原方法，采取了针对IP地址的异或方案进行分流，处理相同二元组情况下的内容还原，专利CN201510383093.5一种流量还原方法及装置提出了采用DOM树的超文本流量还原技术，是一种以会话为单位的关联还原技术。

以上流量还原技术都是以单台流量审计设备为单元进行处理的，甚至是单台流量审计设备上的单链接、单应用层会话进行处理的，无法处理多源分片传输的情况：

1.网络流量分流策略与多源传输矛盾：当网络出入口总流量超过一台设备的处理能力时，需要采用分流设备将流量分给多台流量审计设备进行处理，分流设备一般采用二元组分流策略，故而不同的二元组有可能被分到不同的设备进行处理，由于多源传输时服务端IP地址不同，因此各流量审计设备都无法获取全部的文件分片内容；

2.分片传输导致以会话为单位的内容还原不可行：网络音视频、超大文件的传输，常以多链接、多会话的形式分片段进行访问下载，每个分片传输都是一个应用层会话，可能隶属不同的链接，这对通常的以会话为单位的内容还原技术带来很大挑战，高性能流量审计设备处理10Gbps以上的流量，在单台设备内进行多链接、多会话关联不可避免用到锁，会对设备性能造成很大影响；

3.重新下载、断点续传导致分片内容存在重复传输：在出现重复的部分分片内容时，粗暴的拼接文件分片会导致文件破损，为完整还原原始文件，需要处理文件分片去重、空洞补全等操作，需要解决同一文件的多个分片的唯一标识和关联聚合。