[发明专利]面向短视频数据的分布式内存系统及视频数据管理方法

权利要求书

1.一种面向短视频数据的分布式内存系统，包括源服务器和多台代理服务器，且采用CDN技术将视频数据从所述源服务器迁移到代理服务器上；其特征在于，

各所述代理服务器中热数据缓存区由DRAM和NVM组成，且所述多台代理服务器被划分为多个服务器组，每一个服务器组作为一个整体协同服务用户；每一个服务器组内，热度等级越低的视频数据，存储该视频数据的代理服务器越少；

其中，视频数据依据其访问量被划分为不同的热度等级，且热度等级越低的视频数据，其访问量越小。

2.如权利要求1所述的面向短视频数据的分布式内存系统，其特征在于，服务器组的分组策略包括：

以最小化用户的平均访问延迟和最大化组内服务器个数为目标，利用贪心算法确定每个服务器组内的代理服务器数量N；

将地理位置最相近的N台代理服务器划分到一个服务器组；划分结束后，至多一个服务器组内的代理服务器数量小于N，其余服务器组内的代理服务器数量均为N。

3.一种基于权利要求1-2任一项所述的面向短视频数据的分布式内存系统的视频数据管理方法，其特征在于，包括：

在每个服务器组内，为各代理服务器创建布隆过滤器存储在本地，并在各代理服务器内存储其余代理服务器的布隆过滤器的副本镜像；

代理服务器的布隆过滤器用于映射代理服务器内存储的视频数据。

4.如权利要求3所述的视频数据管理方法，其特征在于，还包括：

在每一个服务器组内，由各代理服务器按照预设的均衡周期，轮流统计组内各代理服务器的访问量，以识别出在每一个均衡周期内组内的高负载代理服务器和低负载代理服务器；对于所识别出的高负载代理服务器，统计其中存储的各视频数据的访问量，以识别出其中的热视频数据；将所识别出的热视频数据复制到所识别出的低负载代理服务器中。

5.如权利要求4所述的视频数据管理方法，其特征在于，对于任意一个代理服务器组，在当前均衡周期内，识别出组内的高负载代理服务器和低负载代理服务器的方式，包括：

在当前均衡周期内，由当前执行统计工作的代理服务器统计组内各代理服务器的访问量，并将访问量最高的一台或多台代理服务器预识别为高负载代理服务器，将访问量最低的一台或多台代理服务器预识别为低负载代理服务器；

对当前均衡周期内对于高负载代理服务器和低负载代理服务器的预识别结果，以及当前均衡周期之前的N-1个均衡周期内对于高负载代理服务器和低负载代理服务器的识别结果进行投票，确定当前均衡周期内的高负载代理服务器和低负载代理服务器，得到当前均衡周期对于高负载代理服务器和低负载代理服务器的识别结果。

6.如权利要求5所述的视频数据管理方法，其特征在于，代理服务器轮流统计组内各代理服务器的访问量，并基于统计结果识别出高负载代理服务器和低负载代理服务器，包括：

代理服务器监测其中存储的布隆过滤器及布隆过滤器的副本镜像，当用户请求命中布隆过滤器或布隆过滤器的副本镜像时，相应的代理服务器的访问量加1，从而在指定时间段内统计得到各代理服务器的访问量；将访问量大的一台或多台代理服务器识别为高负载代理服务器，并将访问量最小的一台或多台代理服务器识别为低负载代理服务器。

7.如权利要求4所述的视频数据管理方法，其特征在于，对于所识别出的高负载代理服务器，统计其中存储的各视频数据的访问量，以识别出其中的热视频数据，包括：

利用哈希表统计高负载代理服务器上的每个视频数据的访问量，由此筛选出其中访问量最大的部分视频数据；

对于筛选出的视频数据，利用Count-Min sketch统计各视频数据的访问量，将其中访问量最大的部分视频数据确定为热视频数据。

8.如权利要求4所述的视频数据管理方法，其特征在于，还包括：

当一台代理服务器因视频数据插入，使得其布隆过滤器更新时，经过预设的时间间隔后，对该代理服务器在组内其他代理服务器中的布隆过滤器的副本镜像进行更新，且更新过程中，优先更新因高负载代理服务器中的热视频数据复制而插入的视频数据对应的位置。

9.如权利要求3-8任一项所述的视频数据管理方法，其特征在于，还包括：按照如下步骤处理用户请求：

本地服务器查找步骤：距离用户最近的第一代理服务器接收到所述用户请求后，在本地查找其自身的布隆过滤器，若命中且查找结果未发生假阳性，则将所请求的视频数据返回给用户；若自身布隆过滤器未命中或查找结果发生假阳性，则在本地查找其他服务器的布隆过滤器的副本镜像，若命中，则将所述用户请求转发至命中的布隆过滤器副本镜像所对应的第二代理服务器，并触发组内服务器查找步骤；若布隆过滤器的副本镜像未命中，则触发源服务器查找步骤：

组内服务器查找步骤：所述第二代理服务器在本地查找其自身的布隆过滤器，若命中且查找结果未发生假阳性，则将所请求的视频数据返回给所述第一代理服务器，以由所述第一代理服务器将所请求的视频数据返回给用户；否则，触发源服务器查找步骤；

源服务器查找步骤：源服务器查找到所请求的视频数据后，返回给向其转发所述用户请求的第三代理服务器；若所述第三代理服务器为所述第一代理服务器，则直接由所述第三代理服务器将所请求的视频数据返回给用户；否则，由所述第三代理服务器将所请求的视频数据返回给所述第一代理服务器后，由所述第一代理服务器将所请求的视频数据返回给用户。