[发明专利]面向短视频数据的分布式内存系统及视频数据管理方法

说明书

本发明公开了一种面向短视频数据的分布式内存系统及视频数据管理方法，属于计算机网络与数据存储领域，系统内各代理服务器中热数据缓存区由DRAM和NVM组成，且多台代理服务器被划分为多个服务器组，每一个服务器组作为一个整体协同服务用户；各组内，热度等级越低的视频数据，存储该视频数据的代理服务器越少；方法包括：在每个服务器组内，为各代理服务器创建布隆过滤器存储在本地，并在各代理服务器内存储其余代理服务器的布隆过滤器的副本镜像；定期将组内高负载代理服务器上的热数据复制到低负载代理服务器上，使用基于优先级的批处理更新策略保证布隆过滤器的副本镜像的一致性。本发明在提高热数据缓存区的命中率的同时，减少了NVM的写入量。

技术领域

本发明属于计算机网络与数据存储领域，更具体地，涉及一种面向短视频数据的分布式内存系统及视频数据管理方法。

背景技术

短视频即短片视频，一般是在互联网新媒体上传播的时长在5分钟以内的视频。传统的短视频文件平均大小为7.6MB。为了提高用户体验质量，短视频这种延迟敏感型应用采用内容分发网络(Content Delivery Network，CDN)技术将视频数据从源服务器迁移到靠近用户端的代理服务器上。然而，现在比较受欢迎的短视频平台还有抖音、快手等，这些新兴的短视频平台的数据大小平均小于5MB。并且新兴的短视频数据具有写密集、数据量大、流量分布不均，用户访问量大的特征。所以为了保证快速的响应用户请求，靠近用户的代理服务器需要大的内存容量来存储这些短视频数据。

CDN缓存系统是基于代理服务器和数据中心在地理位置上分布的网络系统。目的是通过相对于最终用户在空间上分配服务来提供高可用性和高性能。传统的CDN缓存系统中代理服务器具有两层缓存，由驻留在内存的有限的热数据缓存区(Hot Object Cache，HOC)和大的辅存磁盘缓存区(Disk Cache，DC)组成。为了实现快速地响应用户请求，传统的处理方法主要是最大化HOC上的命中率、控制请求路由等，但是根据理论分析和试验评估，现有的处理方法并不能为具有数据量大、用户访问量大的特征的短视频数据提供较低的用户访问延时。扩大CDN缓存系统中代理服务器的热数据缓存区可以提高数据在内存上的命中率。

内存技术DRAM作为主存已经被广泛使用在计算机系统的内存层次中。但是这些传统的内存技术面临成本高(购买成本和维护成本)和容量小等问题。新型的非易失内存技术(NVM)，如相变存储器(PCM)，阻变存储器(ReRAM)和自旋扭矩存储器(STT-RAM)，由于具有高密度、接近于零的待机能耗、与DRAM的读延迟相差无几等优点，被提出和DRAM一起作为内存。2019年因特尔发布了第一款非易失性内存产品Optane^TMDC Persistent Memory(Intel PM)，并且Select可视化云交付网络解决方案提出使用Optane来应对延迟敏感型CDN用户案例(如实时视频流)的内存限制的挑战，因此NVM可以提供大容量的代理服务器的热数据缓存区。但是NVM在写耐久性上具有一定的局限性。NVM的存储单元只能容忍有限次数的写，这对于具有写密集特征的短视频数据是不友好的。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种面向短视频数据的分布式内存系统及视频数据管理方法，其目的在于，利用DRAM和NVM共同构成代理服务器中的热数据缓存区，以增大热数据缓存区的容量，从而提高热数据缓存区的命中率，与此同时，有效减少NVM的写入次数。

为实现上述目的，按照本发明的一个方面，提供了一种面向短视频数据的分布式内存系统，包括源服务器和多台代理服务器，且采用CDN技术将视频数据从源服务器迁移到代理服务器上；

各代理服务器中热数据缓存区由DRAM和NVM组成，且多台代理服务器被划分为多个服务器组，每一个服务器组作为一个整体协同服务用户；每一个服务器组内，热度等级越低的视频数据，存储该视频数据的代理服务器越少；

其中，视频数据依据其访问量被划分为不同的热度等级，且热度等级越低的视频数据，其访问量越小。