[发明专利]基于Key-Value数据块的数据查询方法及系统

摘要

本发明提出一种基于Key‑Value数据块的数据查询方法及系统。根据感知数据具有的属性选取数据聚集的维度，将具有共性即具有同一属性维度的感知数据进行聚类，并将其集中存储在同一数据块中，将选取的数据聚集维度作为数据块对应的属性信息；数据块内部的数据采用Key‑Value数据格式存储和管理；数据块的存储位置及其对应的属性信息采用关系型数据库进行存储和管理。本发明以实现在较少数量计算机情况下就能够对海量物联网感知数据进行高效读写，并可根据业务规模方便地进行扩展。

主权项

1.基于Key‑Value数据块的数据查询方法，包括数据管理和数据查询，其特征在于，数据管理包括以下步骤：步骤101、从感知数据描述的属性中选取数据聚集的维度，选取查询频度高或者取值重复性高的属性作为数据聚集的维度；步骤102、根据选取的数据聚集的维度组建数据分块规则，所述数据分块规则用于指示数据聚集的维度与存储该数据的数据块的对应关系，反映了数据分块条件与数据块之间的对应关系，将选取的数据聚集维度作为数据块对应的属性信息；步骤103、根据数据分块规则以及数据块与数据块键值之间的对应关系，获取数据分块规则与数据块键值的对应关系以及数据块的存储位置，所述数据块的存储位置是用于指示数据块所存储的计算机节点以及节点中的路径和名称；步骤104、根据数据分块规则在关系型数据库中查找对应的数据块键值，如果查询结果中不存在与所述的数据分块规则对应的数据条目，则将数据块的存储位置及其对应的属性信息组织成一条数据条目添加到关系型数据库中进行存储和管理；步骤105、将感知数据条目按照对应的数据聚集维度和数据块的存储位置添加并且存储到对应的数据块中，所述数据块内的感知数据条目采用Key‑Value数据模型，Key值为感知数据条目的键值，Value值为感知数据的属性，所述Key值的数据结构具体可以为R树、B+树、B树或自定义的方法；步骤106、建立新添加感知数据条目的数据块内索引，所述数据块内索引采用Key‑Value数据模型，Key值为所述数据块内索引所对应的字段，Value值为感知数据条目的键值，所述Key值的数据结构具体可以为R树、B+树、B树或自定义的方法；数据查询包括以下步骤：步骤201、获取数据查询请求；步骤202、对获取的查询请求进行解析，用于确定数据查询请求中的数据块列值和数据块属性列值；步骤203、在关系型数据库中查询与所述查询请求相匹配的数据块；步骤204、当所述查询请求与至少一个数据块相匹配时，将所述查询请求和与其匹配的数据块键值分发到所有计算机节点，所述计算机节点为至少存在一个与其匹配的数据块；当没有与所述查询请求相匹配的数据块时，直接返回空结果集；步骤205、Key‑Value数据模型对数据块内查询请求进行处理，根据数据块内索引的Key值，查询其对应的Value值，即数据块内数据条目的Key值；步骤206、根据数据块的Key值查询数据块内数据条目的属性；步骤207、将查询到的数据条目属性合并后返回请求端。