[发明专利]一种流式数据存储方法、读取方法、设备及可读存储介质

说明书

本申请公开了一种流式数据存储方法、读取方法、设备及可读存储介质，该流式数据存储方法包括：创建一个连续流式数据文件，其中，连续流式数据文件至少包括若干数据帧；当连续流式数据文件关闭并重新打开时，在连续流式数据文件后面创建空洞信息帧，其中，空洞信息帧记录连续流式数据文件的文件信息偏移地址；在创建空洞信息帧后，继续写入数据帧，形成另一个连续流式数据文件；将连续的连续流式数据文件组成一个流式数据存储文件。上述方案，能够将大量连续流式数据文件汇聚成一个流式数据存储文件，达到减少文件总数的目的。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种流式数据存储方法、读取方法、设备及可读存储介质。

背景技术

目前的录像存放方式汇总，通常每隔一段时间生产一个录像文件，在正常情况下每个录像文件在时间上是连续的。如果由于网络抖动或者其他原因录像中断就会立即关闭该文件，此时该文件的时间范围可能小于预设的时间长度。待录像恢复后存放到另外一个文件，那么录像中断前后的文件在时间上是中断的。

在这种方式下，如果网络抖动很频繁，会重复执行以下流程：创建大文件、写入数据、关闭文件，并且每个文件的数据很小，但是会产生占用大文件句柄的海量小文件。这种文件会占用底层存储的大文件数量，大文件数量达到底层存储上限后将无法在写入文件。海量的小文件，也带来了沉重的元数据管理压力，甚至会影响整个底层存储系统的性能。

发明内容

本申请至少提供一种流式数据存储方法、读取方法、设备及可读存储介质。

本申请第一方面提供了一种流式数据存储方法，所述流式数据存储方法包括：

创建一个连续流式数据文件，其中，所述连续流式数据文件至少包括若干数据帧；

当所述连续流式数据文件关闭并重新打开时，在所述连续流式数据文件后面创建空洞信息帧，其中，所述空洞信息帧记录所述连续流式数据文件的文件信息偏移地址；

在创建所述空洞信息帧后，继续写入数据帧，形成另一个连续流式数据文件；

将连续的所述连续流式数据文件组成一个流式数据存储文件。

其中，所述流式数据存储方法还包括：

创建一个所述连续流式数据文件；

当所述连续流式数据文件关闭时，在所述连续流式数据文件尾部增加第一总索引信息和第一当前文件描述信息。

其中，所述在所述空洞信息帧后继续写入数据帧的步骤，还包括：

当所述连续流式数据文件重新打开时，在所述第一当前文件描述信息后面创建所述空洞信息帧；

在所述空洞信息帧后按照预设周期写入索引，所述索引记录所述数据帧中I帧的索引信息，以及所述空洞信息帧在所述流式数据存储文件的偏移信息。

其中，所述索引包括一级索引和二级索引，所述预设周期包括第一预设周期和第二预设周期，其中，所述第一预设周期小于所述第二预设周期；

所述在所述空洞信息帧后按照预设周期写入索引的步骤，包括：

在所述空洞信息帧后按照所述第一预设周期写入所述二级索引，所述二级索引记录所述数据帧中I帧的索引信息，以及上一个所述一级索引的地址；

在所述空洞信息帧后按照所述第二预设周期写入所述一级索引，所述一级索引存储时间在前的所述二级索引的地址，以及所述空洞信息帧在所述流式数据存储文件的偏移信息。

其中，在所述空洞信息帧后预设数量的所述二级索引还记录所述空洞信息帧在所述流式数据存储文件的偏移信息。