[发明专利]一种数据存储管理方法及装置

说明书

技术领域

本发明涉及数据存储技术，特别涉及一种数据存储管理方法及装置。

背景技术

在安防监控系统中，录像存储功能是最核心的功能之一，摄像头每时每刻录制的音频、视频数据都需要存储，而系统中的存储空间有限，系统就需要不断回收从前的音频、视频数据，存储新录制的音频、视频数据。传统的通用文件系统，如新技术文件系统（New Technology File System，NTFS）微软Windows NT环境下的文件系统或第三代扩展文件系统（Third Extended File System，EXT3）Linux环境日志文件系统在处理存储空间回收的过程中，会产生大量的磁盘碎片，长此以往，会出现磁盘性能衰减的问题。

数字监控系统（Digital Surveillance System，DSS-2.x）中在使用基于NTFS的增强虚拟文件系统（Enhanced Virtual File System，ENVFS）时，ENVFS会在NTFS上预先创建固定大小的文件，作为录像数据块和录像索引块，ENVFS使用上述用于完成录像检索、录像数据块分配、录像文件分配等过程的几个小文件来维护文件系统信息、数据块分配信息、录像文件分配信息等等。当系统出现故障时，NTFS会进行数据一致性检查和修复，有时ENVFS创建的上述几个小文件会出现丢失的情况，将会导致整个文件系统的数据丢失且无法恢复，存在严重的数据安全性问题。另外，由于ENVFS长期运行后，数据存储空间在不断回收后趋于离散，录像并发写入点也会趋于离散，造成磁盘碎片化，导致系统存储性能衰减，更容易导致录像数据的丢失，存在存储性能稳定性差的问题。

发明内容

本发明实施例提供一种数据存储管理方法及装置，用以解决现有技术中的文件系统长期运行后，数据存储空间不断趋于离散，造成磁盘碎片化，进而产生文件易丢失的问题。

本发明实施例提供的具体技术方案如下：

第一方面，一种数据存储管理方法，包括：

在系统配置阶段，创建至少一个循环队列文件系统CQFS文件系统，在该至少一个CQFS文件系统中，包括预设数目及预设大小的CQFS数据块；

在系统运行阶段，将生成的业务数据逐个写入该至少一个CQFS文件系统中的每一个CQFS数据块内，其中，每使用一个CQFS数据块，对应使用的CQFS数据块生成相应的数据块回收时间戳；

按照各个CQFS数据块对应的数据块回收时间戳依次清除每一个数据块内的业务数据；其中，每清除一个数据块内的业务数据，在清除业务数据后的CQFS数据块内继续写入最新生成的业务数据。

通过本发明实施例提供的方法，该数据存储管理方法基于循环队列，使得CQFS文件系统运行时，不会出现写入点离散或磁盘碎片化的问题，因此，CQFS文件系统长期运行，写入性能不会衰减，也不会因磁盘碎片化进而产生文件易丢失的问题，进一步保证了磁盘的稳定性。

结合第一方面，在第一种可能的实现方式中，创建至少一个CQFS文件系统，包括：

若系统中仅存在一个磁盘，则对应该一个磁盘创建一个CQFS文件系统；或者，

若系统中存在至少两个磁盘，则对应每一个磁盘分别创建一个CQFS文件系统，各个CQFS文件系统中的业务数据的写入及清除相互独立；或者，

若系统中存在至少一个磁盘，而该至少一个磁盘中存在至少两个文件目录，则对应每一个文件目录分别创建一个CQFS文件系统，各个CQFS文件系统中的业务数据的写入及清除相互独立。

通过这种可能的实现方式，同一个CQFS文件系统中的各个CQFS数据块所存储的业务数据之间高度自完备，即任意两个CQFS数据块之间均没有数据依赖。不同CQFS文件系统之间所存储的业务数据也高度自完备，即任意两个CQFS文件系统之间均没有数据依赖。

结合第一方面的上述任意一种实现方式，在第二种可能的实现方式中，创建一个CQFS文件系统，包括：

创建第一区域、第二区域、第三区域和第四区域，其中，

第一区域，用于存储CQFS头信息，该CQFS头信息用于指示CQFS文件系统的配置信息；

第二区域，用于存储CQFS数据块信息列表；该CQFS数据块信息列表用于记录每一个CQFS数据块的描述信息，该描述信息中至少包含相应CQFS数据块的数据块回收时间戳；

第三区域，被划分为若干用于存储业务数据的CQFS数据块，所述CQFS数据块中至少包含CQFS数据块的索引信息和相应的业务数据的描述信息；