[发明专利]一种应用驱动的数据存储与索引方法

说明书

本发明公开了一种应用驱动的数据存储与索引方法。数据按列存储，单个文件存储内容只包含一个字段，每一个字段前有一个标志位，相应的其他字段也有相应的标志位，同一条记录的不同字段在不同的文件中拥有相同的行数标志，索引方法采用B+树的形式，将文件名称包含的三个字段作为建立B+树的数据，取该文件的字段范围的最大值为key，起始时间的前五位为value建立一颗B+树，取该文件的字段范围的最小值为key，起始时间的后五位为value建立一颗B+树；查询该字段的时间同时查询两颗B+树，将查询结果组合成范围，加上字段标志定位到文件，最后在文件中去查询具体内容。本发明提高存储空间的使用效率，提供较高的索引速率。

技术领域

本发明涉及一种应用驱动的数据存储与索引方法，属于数据处理技术领域。

背景技术

随着互联网信息的增长，大量的数据需要被存储，也就需要更多的硬盘设备。数据量不断增长，数据的类型也在不断的增加。话单作为众多数据中的一种，其数据量在增加的同时，话单格式中的字段也在不断的扩展。

不同的应用类型对数据的存储和分析需求是各不相同的，为根据不同的数据类型定制不同的方案，无疑要比统一的储存平台更能有效率。应用驱动就是指的为不同应用的需求定制差异化的存储方案。

多维度，指的是多个角度。使用者通过特定的方法，能够快速的、有效率的得到自己需要的特定角度的数据，这对后续的工作是大有裨益的。后续的分析不需要再对数据进行二次加工，就可以得到进行分析特定的基础数据。

话单数据目前面临两种情况：一是储存在传统关系数据库中，传统数据库在处理短期数据时相对灵活、有绝对的优势。但是面临海量数据的时候，其储存方式对后续的数据分析无法提供有效的帮助；二是采用了分布式处理的方案，直接采用某些通用的分布式技术，在数据规模和查询速率有所保证，但是成本较高，没有充分挖掘出话单数据应有的价值。

为了提高话单数据的应用价值、应对话单字段的扩展，找到合适的储存和索引方法变得尤为重要。

发明内容

有鉴于此，本发明提供了一种应用驱动的数据存储与索引方法，随着信息的增长，使用者对数据的使用频率越来越高，提供一种有效的在存储的基础上进行灵活的索引的方法。该方法能提高存储空间的使用效率，也能提供较高的索引速率。

本发明通过以下技术手段解决上述技术问题：

本发明的一种应用驱动的数据存储方法，数据按列存储，每一列之间不完全独立，单个文件存储内容只包含一个字段，每一个字段前有一个标志位，表示该字段位于该文件的第几个存储内容，相应的其他字段也有相应的标志位，同一条记录的不同字段在不同的文件中拥有相同的行数标志；

文件名称包含三个字段：字段标志、存储该文件的起始时间、该字段在该文件中的范围，存储该文件的起始时间字段保证该文件的唯一性，字段标志和该字段在该文件中的范围字段确保后续索引的建立。

一种应用驱动的数据索引方法，索引方法采用B+树的形式，其包括：

将文件名称包含的三个字段作为建立B+树的数据，取该文件的字段范围的最大值为key，起始时间的前五位为value建立一颗B+树，同样的，取该文件的字段范围的最小值为key，起始时间的后五位为value建立一颗B+树；

查询该字段的时间同时查询两颗B+树，将查询结果组合成范围，加上字段标志定位到文件，最后在文件中去查询具体内容。

一种应用驱动的数据存储方法，三个字段内容前放置标志位，每获取一条信息，就将经过编码的字段内容与相应内存中的数据进行比对，如果已经存在相同的内容，就将新获取的字段内容相对应的经过编码后的标志位添加到已经存在的字段前面，如果不存在内容，就将新的字段和标志位编码后添加到相应内存中。