[发明专利]基于大数据的数据存储方法、装置、电子设备及存储介质

说明书

本发明涉及大数据领域，揭露了一种基于大数据的数据存储方法，包括：获取原始数据，对原始数据进行数据清洗，得到标准数据；获取标准数据的数据量，根据数据量，更新标准数据在对应数据存储规则表中的初始数据存储时长；设置标准数据的存储因子，根据存储因子及初始数据存储时长，计算标准数据的数据平均存储时长；根据存储因子，对数据存储规则表进行复制，生成多个数据存储规则表；配置每个数据存储规则表的数据存储时长范围，基于数据平均存储时长和数据存储时长范围，利用每个数据存储规则表对标准数据进行数据存储，得到存储结果。此外，本发明还涉及区块链技术，所述标准数据可存储于区块链中。本发明可以提高数据存储的时效性。

技术领域

本发明涉及大数据领域，尤其涉及一种基于大数据的数据存储方法、装置、电子设备及计算机可读存储介质。

背景技术

随着信息科技的发展，数据呈爆炸式增长，会相应带来许多关于大数据的数据存储以问题。目前关于数据存储通常是基于一张字典表，取出字典表中符合数据存储条件的配置，并循环执行数据处理配置直至待存储数据存储结束。但是由于一张字典表中的配置只能执行数据存储的串行处理，无法执行数据存储的并行处理，导致数据存储的总时长与数据量、表结构以及表关联关系正相关，当字典表配置量随时间呈线性增长时，会带来数据存储的总时长变化率总是比字典表增长率要大的情况，使得数据存储的总时长成倍增加，从而影响数据存储的时效性。

发明内容

本发明提供一种基于大数据的数据存储方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据存储的时效性。

为实现上述目的，本发明提供的一种基于大数据的数据存储方法，包括：

获取原始数据，对所述原始数据进行数据清洗，得到标准数据；

获取所述标准数据的数据量，根据所述数据量，更新所述标准数据在对应数据存储规则表中的初始数据存储时长；

设置所述标准数据的存储因子，根据所述存储因子及所述初始数据存储时长，计算所述标准数据的数据平均存储时长；

根据所述存储因子，对所述数据存储规则表进行复制，生成多个数据存储规则表；

配置每个所述数据存储规则表的数据存储时长范围，基于所述数据平均存储时长和所述数据存储时长范围，利用每个所述数据存储规则表对所述标准数据进行数据存储，得到存储结果。

可选地，所述对所述原始数据进行数据清洗，得到标准数据，包括：

对所述原始数据进行去重操作；

检测去重操作后的所述原始数据中是否存在数据缺失值；

若不存在数据缺失值，则将去重操作后的所述原始数据作为标准数据；

若存在数据缺失值，则对所述数据缺失值进行填充，得到标准数据。

可选地，所述对所述原始数据进行去重操作，包括：

计算所述原始数据中任意两个数据的距离值，若所述距离值大于预设距离值，则同时保留所述任意两个数据，若所述距离值不大于预设距离值，则删除所述任意两个数据中任意一个数据；

其中，所述计算所述原始数据中任意两个数据的距离值，包括；利用下述方法计算所述原始数据中任意两个数据的距离值：

其中，d表示原始数据中任意两个数据的距离值，w_1j和w_2j表示原始数据中任意两个数据。

可选地，所述对所述数据缺失值进行填充，包括：

利用下述方法对所述数据缺失值进行填充：