[发明专利]全量数据的存储方法、装置以及计算机可读存储介质

说明书

本发明公开了一种全量数据的存储方法、装置以及计算机可读存储介质，所述方法包括：获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；将所述数据文档存储在第一存储空间。本发明节省了全量数据的存储空间。

技术领域

本发明涉及计算机技术领域，尤其涉及一种全量数据的存储方法、装置以及计算机可读存储介质。

背景技术

在智慧城市/社区项目建设中，连接平台需要面对海量数据的接入问题，这些数据来自众多不同类型的感知设备，这里称之为全量数据，全量数据包括人脸抓拍机、车辆道闸、卡口抓拍机、门禁、烟感等数据。

分析这些全量数据可以发现，全量数据中即包含结构化的信息，比如设备编号、名称、上报时间等，也可能包含一些非结构化的信息，比如图片、视频等。由于全量数据的数据量巨大，并且来自不同设备的全量数据的信息内容多样，全量数据的存储会出现存储空间占据较大的问题。

发明内容

本发明的主要目的在于提供一种全量数据的存储方法、装置以及计算机可读存储介质，旨在解决全量数据的存储出现存储空间占据较大的问题。

为实现上述目的，本发明提供的一种全量数据的存储方法，所述全量数据的存储方法包括以下步骤：

获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；

根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；

将所述数据文档存储在第一存储空间。

在一实施例中，所述全量数据包括文字信息以及图片信息，所述根据所述关键词以及所述特征值生成所述全量数据对应的字段的步骤包括：

获取所述图片信息对应的存储路径；

根据所述关键词、所述特征值以及所述存储路径生成所述全量数据对应的字段，其中，所述关键词以及所述特征值根据所述文字信息确定。

在一实施例中，所述获取所述图像信息对应的存储路径的步骤包括：

提取所述全量数据中的所述图片信息，将所述图片信息转换为数据文件；

将所述数据文件发送至服务器，所述服务器将所述数据文件进行存储，并生成所述数据文件对应的存储路径；

接收所述服务器反馈的所述图片信息对应的存储路径。

在一实施例中，所述将所述数据文档存储在预设的第一存储空间的步骤之后，还包括：

创建所述数据文档对应的索引，并建立所述索引与所述数据文档的映射关系，所述索引包括所述索引的创建时间。

在一实施例中，所述创建所述数据文档对应的索引的步骤包括：

确定所述数据文档的分片参数以及副本参数；

根据所述分片参数、所述副本参数以及当前时间创建所述索引，其中，所述当前时间为所述索引的创建时间。

在一实施例中，所述建立所述索引与所述数据文档的映射关系的步骤包括：

获取所述索引在预设时长内的检索频次；

若所述检索频次小于预设频次，删除所述检索频次对应的所述索引以及所述索引对应的数据文档。

在一实施例中，所述将所述数据文档存储在第一存储空间的步骤之后，还包括：

生成所述全量数据对应的标识；