[发明专利]一种数据实时存储方法和嵌入式实时数据存储中间件

说明书

本申请实施例公开了一种数据实时存储方法和嵌入式实时数据存储中间件，该方法包括：解析第一请求数据，根据解析后的第一请求数据获取第一标签信息，第一标签信息包括第一标签信息对应的定长快存桶信息、数据合法值特征；获取定长快存桶信息对应的整桶数据；根据整桶数据和数据合法值特征过滤待存储数据，得到过滤后的待存储数据；将过滤后的待存储数据进行存储，并生成存储结果；根据所述回调函数返回存储结果。本申请实施例基于标签管理数据采集点，在存储数据方面通过快存技术，实现具有快速并发处理能力的嵌入式实时数据存储中间件，为边缘物联代理装置提供数据的实时存储能力。

技术领域

本申请涉及数据存储领域，更具体地说，涉及一种数据实时存储方法和嵌入式实时数据存储中间件。

背景技术

目前，在边缘物联代理装置的数据存储方面，现有方案是采用一致性哈希分片将待存储数据进行划分，并建立相应的索引。数据写入时，更新索引；查询数据时，通过数据存储时建立的一致性哈希分片索引和索引信息，能够准确、快速的定位到需要的结果。然而，采用一致性哈希分片的采集数据本地存储方法，虽然解决了采集的数据先缓存于边缘物联代理装置的问题，但现有技术中边缘物联代理装置在处理单一高频源数据采集和多数据源并发数据采集时，存在数据存储不及时的问题。

发明内容

本申请的目的是提供一种数据实时存储方法和嵌入式实时数据存储中间件，通过实现一种嵌入式实时数据存储中间件，该数据存储中间件以标签为数据点，基于快存与量存功能为边缘物联代理装置提供数据的实时存储能力。

为实现上述目的，本申请一种数据实时存储方法，所述方法包括：

获取接口调用的第一请求数据，并对所述第一请求数据进行协议解析，获取解析后的请求指令、待存储数据和回调函数；根据所述请求指令获取第一标签信息，所述第一标签信息包括所述第一标签信息对应的定长快存桶信息、数据合法值特征；获取所述定长快存桶信息对应的整桶数据；根据所述整桶数据和所述数据合法值特征对所述待存储数据进行数据过滤，得到过滤后的待存储数据；将所述过滤后的待存储数据进行存储，并生成存储结果；根据所述回调函数返回所述存储结果。

可选地，在所述获取接口调用的第一请求数据之前，所述方法还包括：

获取用于编辑中间件配置信息的第二请求数据，并对所述第二请求数据进行协议解析，获取解析后的第二请求指令；根据所述第二请求指令对所述中间件配置信息进行编辑；所述中间件配置信息包括：回调函数、标签数、存储块大小、存储段大小、状态反馈频率、日志记录规则；返回用于编辑中间件配置信息的执行结果。

可选地，所述将过滤后的待存储数据进行存储，具体包括：

获取快存管理单元中的参数信息，所述参数信息包括定长快存桶集存储数据量大小信息、定长快存桶单桶当前数据量信息；根据所述快存管理单元中的参数信息将过滤后的待存储数据存储到所述快存管理单元的定长快存桶单桶中；判断所述快存管理单元中定长快存桶单桶当前数据量是否达到定长快存桶单桶存储数据量；若快存管理单元中第一标签信息对应的定长快存桶单桶当前数据量达到定长快存桶单桶存储数据量，将所述定长快存桶单桶的数据转存至量存管理单元。

可选地，快存管理单元包括定长快存桶集模块和变长快存池模块，所述根据所述快存管理单元中的参数信息将过滤后的待存储数据存储到所述快存管理单元的定长快存桶单桶中，包括：

判断所述过滤后的待存储数据的数据类型，所述数据类型包括定长数据和变长数据；若所述过滤后的待存储数据为定长数据，则将所述过滤后的待存储数据的数据值存储于定长快存桶集模块；若所述过滤后的待存储数据为变长数据，则将所述过滤后的待存储数据的数据值存储于变长快存池模块，其中所述变长数据的数据值在所述变长快存池模块中的地址以定长数据值的方式与数据属性进行组合，存储于定长快存桶集模块。

可选地，所述将所述定长快存桶单桶的数据转存至量存管理单元，包括：