[发明专利]用于保证分布式视频流存储系统数据连续性的切换方法

说明书

技术领域

本发明涉及数据存储技术领域，特别涉及一种用于保证分布式视频流存储系统数据连续性的切换方法。

背景技术

分布式存储系统，是将数据分散存储在多台独立设备上的存储系统。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

典型的分布式视频流存储系统都由元服务器(MS，Meta Server)和若干台数据服务器(DS，Data Server)构成。元服务器主要负责对数据服务器进行监控和管理，保存并备份真实数据与数据服务器之间的映射关系。数据服务器则负责对数据进行实际的接收、存储和管理，同时还要将自身的硬件和负载状况通过心跳信息定时与元服务器进行通信。在这种分布式视频流存储系统中，数据服务器的故障被视为一种常态。通常，为了提高分布式视频流存储系统的可靠性，使用多个数据服务器进行备份来防止视频流数据丢帧。

随着系统的运作，分布式视频流存储系统中的数据服务器存在着故障和负载不均衡的现象，需要元服务器进行有效的调度，即将视频流存储由源服务器切换至目标服务器。其中，源服务器为存在着故障或者负载不均衡的数据服务器，目标服务器为接替源服务器存储视频流数据的数据服务器。由于视频文件通常很大，若数据存储切换时是以整个视频流为单位，那么就会造成大量数据的重复，既浪费了存储空间，又影响了用户体验。因此，分布式视频流存储系统进行调度切换时保证数据的连续性是必不可少的。

发明内容

本发明所要解决的是分布式视频流存储系统进行调度切换时数据不连续导致存储空间浪费、影响用户体验的问题。

为解决上述问题，本发明提供一种用于保证分布式视频流存储系统数据连续性的切换方法，包括：元服务器通过周期性心跳获得各数据服务器的状态信息，并根据各数据服务器的状态信息记录源服务器写入视频流数据的截止时刻；元服务器通知源服务器从所述截止时刻停止写入视频流数据，并告知目标服务器将所述截止时刻开始缓存的视频流数据写入磁盘，视频流数据的缓存偏移量根据视频编码率和已写入视频流的起止时间戳之差确定；元服务器更新元数据，将所述截止时刻后的视频流数据定位至目标服务器；在下一个保存周期或者下一个写入周期到来时，清空源服务器在所述截止时刻之后写入磁盘的视频流数据。

基于视频文件的编码率和时间是固定的这一特征，通过视频编码率和已写入视频流的起止时间戳之差就能计算出视频流数据的缓存偏移量，即视频流存储由源服务器切换至目标服务器过程中需要存储的视频流数据。因此，在不以整个流为单位的前提下，将目标服务器在截止时刻开始缓存的视频流数据写入磁盘不存在丢帧现象。并且，源服务器在截止时刻之后写入磁盘的视频流数据在下一个保存周期或者下一个写入周期到来时被清空，避免了重复帧的情况，提高系统效率和增强用户体验的同时，又能保证视频流数据切换时的连续性。

可选的，源服务器为存在故障或者负载不均衡的数据服务器，负载不均衡包括磁盘冗余量和吞吐率不满足预设要求。

可选的，所述截止时刻采用分布式时钟同步算法进行确定。在分布式存储系统中，凡是与时间相关的问题都牵涉到时钟偏移，它是分布式存储系统中无法避免的问题，时间的不统一会造成数据存储的错误。采用分布式时钟同步算法确定所述截止时刻可以减小时钟偏差，使视频流数据的缓存偏移量更为准确。

可选的，所述截止时刻采用分布式时钟同步算法中的伯克利算法进行确定。

可选的，源服务器的从存储服务器作为目标服务器。

可选的，除源服务器的从存储服务器之外的数据服务器作为目标服务器，目标服务器在将视频流数据写入磁盘之前对视频流数据进行缓存处理。

可选的，视频流数据的缓存偏移量根据n＝T×α÷8获得，其中，n为视频流数据的缓存偏移量，T为相邻两个视频流的时间戳之差，α为视频编码率。

可选的，所述用于保证分布式视频流存储系统数据连续性的切换方法还包括：目标服务器在所述截止时刻的视频流数据写入磁盘后，更新存储在目标服务器上的元数据。

与现有技术相比，本发明具有以下优点：