[发明专利]流式数据存储方法及装置

说明书

本发明公开一种流式数据存储方法及装置，该方法包括：获取待存储的数据以及数据的原数据值的数据长度，确定存储文件及管理文件；在管理文件中查找满足数据长度要求的连续的至少一个标记为未占用状态的单位存储空间管理标识，将原数据值存储至所查找到的至少一个标记为未占用状态的单位存储空间管理标识对应的存储文件的至少一个单位存储空间，并获取原数据值在存储文件中的存储位置；将至少一个标记为未占用状态的单位存储空间管理标识进行修改；得到包含存储文件的标识、存储位置和数据长度的新数据值，根据数据的原数据键和新数据值，构建数据键值对形式的实例数据，将实例数据写入数据库中。该技术方案节省了存储空间，提高了数据处理效率。

技术领域

本发明涉及互联网技术领域，具体涉及一种流式数据存储方法及装置。

背景技术

在互联网的很多应用场景中，例如消息推送和网络直播等，均会使用到流式数据。流式数据的特点是每时每刻都有数据产生，而且数据到达时间也不是匀速的。现有技术中，大多是利用消息队列来解决对流式数据的存储问题。

在实际应用场景中，所产生的流式数据的数据量可能是海量的。然而，消息队列在面临高并发大量数据时，将无法快速地完成数据处理。因此，现有的流式数据存储方案中存在着数据处理效率较低的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的流式数据存储方法及装置。

根据本发明的一个方面，提供了一种流式数据存储方法，该方法包括：

获取待存储的数据以及数据的原数据值的数据长度，确定用于存储原数据值的存储文件以及用于管理存储文件的管理文件；其中，管理文件存储有多个单位存储空间管理标识，每个单位存储空间管理标识用于标记存储文件的对应的单位存储空间的已占用状态或未占用状态；

在管理文件中查找满足数据长度要求的连续的至少一个标记为未占用状态的单位存储空间管理标识，将原数据值存储至所查找到的至少一个标记为未占用状态的单位存储空间管理标识对应的存储文件的至少一个单位存储空间，并获取原数据值在存储文件中的存储位置；

将至少一个标记为未占用状态的单位存储空间管理标识进行修改，修改后的单位存储空间管理标识被标记为已占用状态；

得到包含存储文件的标识、存储位置和数据长度的新数据值，根据数据的原数据键和新数据值，构建数据键值对形式的实例数据，将实例数据写入数据库中。

根据本发明的另一方面，提供了一种流式数据存储装置，该装置包括：

数据获取模块，适于获取待存储的数据以及数据的原数据值的数据长度；

确定模块，适于确定用于存储原数据值的存储文件以及用于管理存储文件的管理文件；其中，管理文件存储有多个单位存储空间管理标识，每个单位存储空间管理标识用于标记存储文件的对应的单位存储空间的已占用状态或未占用状态；

查找模块，适于在管理文件中查找满足数据长度要求的连续的至少一个标记为未占用状态的单位存储空间管理标识；

存储模块，适于将原数据值存储至所查找到的至少一个标记为未占用状态的单位存储空间管理标识对应的存储文件的至少一个单位存储空间；

存储位置获取模块，适于获取原数据值在存储文件中的存储位置；

修改模块，适于将至少一个标记为未占用状态的单位存储空间管理标识进行修改，修改后的单位存储空间管理标识被标记为已占用状态；

生成模块，适于得到包含存储文件的标识、存储位置和数据长度的新数据值；

写入模块，适于根据数据的原数据键和新数据值，构建数据键值对形式的实例数据，将实例数据写入数据库中。