[发明专利]一种便于一次性获取信息的非结构化数据存储方法

说明书

技术领域

本发明涉及数据存储技术领域，特别涉及一种便于一次性获取信息的非结构化数据存储方法。

背景技术

在数据信息汇总展示时，往往含有大量的信息，比如人员信息，不仅仅含有描述性的基本信息，而且还有数据量非常大的活动轨迹信息；因此，在进行信息展示时，如果需要多种数据展现，利用常规的数据库中表存储的方式，分别去不同表中查询，根本无法满足展现页面加载速度的要求，甚至会卡死现象。

发明内容

为了解决现有技术的问题，本发明提供了一种便于一次性获取信息的非结构化数据存储方，其能够将信息提前组织好，使用时直接获取，大大提高了效率。

本发明所采用的技术方案如下：

一种便于一次性获取信息的非结构化数据存储方法，其特征在于建立非关系型的档案数据，即在在获取数据时，对数据进行整理和加工，根据唯一标识查找档案信息；已有档案的话获取该档案添加新获取数据，没有档案的根据获取的数据生成档案，并保存档案。

建立非关系型的档案数据是指在数据获取过程中，将数据按照业务关联性进行整合，形成适合整体描述的非关系型的数据。

在数据的存储上，利用云计算的分布式存储方式。

存储数据格式为XML文件；数据存储工具用hbase。

本发明的核心是建立非关系型的档案数据。以人员信息为例，在获取数据时，对数据进行整理和加工，根据身份证（唯一标识）查找档案信息；已有档案的话获取该档案添加新获取数据，没有档案的根据获取的数据生成档案，并保存档案。完成建档后，在调用档案时可直接查询到档案，无需像关系型数据存储那样，分别去多个表中查询，大大提高了查询效率。

本发明的存储数据格式为XML文件；XML较为大众，解析方便、快速。本发明在数据存储工具上用hbase，采用hbase存储有以下几个优势：

1、Hbase为分布式计算，提高了数据的查询速度；

2、Hbase可根据数据量的增大，动态扩展节点来增加存储量；

3、Hbase可以存储像XML这样的非结构化的数据。

本发明提供的技术方案带来的有益效果是：

本发明利用可描述型的非关系型数据来存储数据；数据存储上选取分布式存储的方式，利用分布式存储比传统的数据库存储更加安全可靠，并且利用分布式计算，使得数据的存储和查询的速度也明显好于传统的数据库存储方式，其大幅度提高了大量数据的查询速度，以人员信息为例，利用本发明的方法存储数据，在亿级数量中查询所需要的数据耗时小于十毫秒。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施方式作进一步地详细描述。

实施例一

本实施例的一种便于一次性获取信息的非结构化数据存储方法，是建立非关系型的档案数据，即在在获取数据时，对数据进行整理和加工，根据唯一标识查找档案信息；已有档案的话获取该档案添加新获取数据，没有档案的根据获取的数据生成档案，并保存档案。

建立非关系型的档案数据是指在数据获取过程中，将数据按照业务关联性进行整合，形成适合整体描述的非关系型的数据。

在数据的存储上，利用云计算的分布式存储方式。

存储数据格式为XML文件；数据存储工具用hbase。

以人员信息为例，在获取数据时将信息按照身份证号（唯一标示）进行数据整合形成非关系型数据的人员档案，在调用人员信息和展示人员页面时，无需多表及多数据源查询，只需通过身份证即可调去相关人员所有信息，此方法有利于提高获取信息的查询速度；在维护上也方便了信息的统一管理。在数据的存储上，利用云计算的分布式存储方式，提高了数据的存取速度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。