[发明专利]一种基于HDFS大数据存储的数据编辑方法

权利要求书

1.一种基于HDFS大数据存储的数据编辑方法，其特征在于，包括以下步骤：

步骤一：配置存储策略、同步策略及数据合并策略；

步骤二：数据接收服务根据存储策略将近一段时间内的数据存储在热数据存储内存及磁盘中；

步骤三：数据同步服务根据同步策略以及数据是否为更新操作将热存储中的数据分别同步到分布式存储中的不同存储空间；

步骤四：数据合并服务根据数据合并策略将分布式存储中两个存储空间的数据进行数据合并；

步骤五：数据查询服务查询数据须先查询热存储，命中则返回，否则分别查询分布式存储两个存储空间，合并并返回查询结果。

2.根据权利要求1所述的一种基于HDFS大数据存储的数据编辑方法，其特征在于：所述步骤一中的配置存储策略、同步策略及数据合并策略具体包括：

（1）配置存储策略以确定热存储中可存储的数据量，可选择时间式存储策略或空间式存储策略；时间式存储策略规定一定时间范围内的数据存储在热存储中；空间式存储策略规定一定数据量内的数据存储在热存储中；

（2）配置同步策略以确定热存储中的数据以何种方式同步至分布式文件存储HDFS中；可选择百分比同步策略或全量同步策略；百分比同步策略将热存储中一定百分比的数据量同步至分布式文件存储中；全量同步策略将热存储中全量数据同步至分布式文件存储中；

（3）配置数据合并策略以确定分布式存储中更新数据与旧数据合并操作的触发方式，可选择定时式策略或定量式策略；定时式策略规定数据合并操作在指定时间触发；定量式策略规定数据合并操作在更新数据达到一定数量时触发。

3.根据权利要求1所述的一种基于HDFS大数据存储的数据编辑方法，其特征在于：所述步骤二包括以下子步骤：

（1）数据接收服务接收数据插入或数据更新请求，并将数据存入热存储空间；

（2）热存储空间分为插入数据存储空间和更新数据存储空间，插入数据存储空间用以存储新增请求的数据，更新数据存储空间用以存储更新请求的数据；

（3）对于新增数据请求，将数据存储在热存储中的插入数据存储空间；对于更新数据请求，将数据存储在热存储中的更新数据存储空间。

4.根据权利要求1所述的一种基于HDFS大数据存储的数据编辑方法，其特征在于：所述步骤三中包括以下子步骤：

（1）数据同步服务定时启动，读取热存储数据，同步至分布式存储；

（2）分布式存储中分为数据存储空间和待更新数据存储空间；数据存储空间存储合并后数据，待更新数据存储空间存储待更新数据。

5.根据权利要求1所述的一种基于HDFS大数据存储的数据编辑方法，其特征在于：所述步骤四中的数据合并策略包括：数据合并服务定时启动，触发数据合并操作时，读取分布式存储中两个存储空间的数据并将待更新数据与旧版数据进行合并，合并后写回分布式存储。

6.根据权利要求1所述的一种基于HDFS大数据存储的数据编辑方法，其特征在于：所述步骤五中的数据查询策略包括：

数据查询服务接收数据查询请求，并在查询完成后返回查询结果；

首先查询热存储中两个存储空间，若存在对应数据则将数据合并后返回查询结果；

若热存储中不存在对应数据，则查询分布式存储中两个存储空间，将数据合并后返回查询结果。