[发明专利]大数据检索方法及装置

说明书

本发明提供了一种大数据检索方法及装置，所述检索方法包含：获取待存储的体彩文本数据，所述体彩文本数据包含复数个文本数据；根据所述文本数据建立唯一的索引号，所述索引号与所述文本数据一对一设置；根据复数个所述索引号建立索引表，并通过所述索引表将所述文本数据按序存储至数据库中；通过待检索信息的特征信息确定待检索信息所对应的索引号；根据所述索引表与所述待检索信息所对应的索引号确定所述数据库中待检索信息的存储位置；通过本发明所提供的大数据检索方法及装置，可根据特定的需求场景在成百上千万条记录中查询到需要的数据，查询时间控制在毫秒级，大大加快了体彩销售终端的数据查询速度。

技术领域

本发明涉及彩票数据查询领域，尤指一种大数据检索方法及装置。

背景技术

随着体彩系统交易量的不断上升，系统记录的文件数据呈现爆炸式的增长，如何从海量数据中发现潜在的规律和知识已经是一个不可回避的问题，而文本数据存储系统可以很好地解决这一问题。文本数据存储系统为客户端提供了一种简单的数据模型，客户端可以动态地控制数据的布局和格式，并且利用底层数据存储的局部性特征。但是对数据的检索速度，由于文本数据存储系统采用的是Key-Value存储方式，因此对基于Value的条件查询都是全表扫描，对于小数据量没问题，但是一旦数据量大到百万，千万级(我们这里是一天就千万级)那就会无法接受，会非常非常非常慢。

发明内容

由于文本数据存储系统是key-value存储系统，因此对基于value的条件查询都是全表扫描，对于小数据量没问题，但是一旦数据量大到百万，千万级那就会无法接受，会非常非常非常慢；为此，本发明目的在于提供一种高效的检索方法及装置帮助用户快速定位检索内容。

为达上述目的，本发明具体提供一种大数据检索方法，所述检索方法包含：获取待存储的体彩文本数据，所述体彩文本数据包含复数个文本数据；根据所述文本数据建立唯一的索引号，所述索引号与所述文本数据一对一设置；根据复数个所述索引号建立索引表，并通过所述索引表将所述文本数据按序存储至数据库中；通过待检索信息的特征信息确定待检索信息所对应的索引号；根据所述索引表与所述待检索信息所对应的索引号确定所述数据库中待检索信息的存储位置。

在上述大数据检索方法中，优选地，所述索引号为KEY值。

在上述大数据检索方法中，优选地，所述根据所述文本数据建立唯一的索引号包含：分析所述文本数据，获得所述文本数据的特征信息，根据所述特征信息生成唯一索引号。

在上述大数据检索方法中，优选地，所述文本数据的特征信息包含：所述文本数据的存入时间、存入所述文本数据的操作地址信息以及所述操作地址信息存入所述文本数据的顺序编号。

在上述大数据检索方法中，优选地，所述根据复数个所述索引号建立索引表包含将所述文本数据的存入时间、存入所述文本数据的操作地址信息以及所述操作地址信息存入所述文本数据的顺序编号相加，获得所述KEY值的数值大小，根据所述KEY值的数值大小对所述KEY值进行排序并根据所述KEY值排序后的顺序生成索引表。

在上述大数据检索方法中，优选地，所述检索方法还包含：按预定周期筛选所述文本数据，将超出预定阈值的所述文本数据及其在所述索引表中对应的所述索引号删除。

在上述大数据检索方法中，优选地，所述检索方法还包含：当接收到复数个文本数据时，分别对所述文本数据建立索引号，将所述索引号与所述索引表中索引号比对，根据比对结果将所述索引号插入所述索引表中并将所述索引号所对应的所述文本数据对应插入数据库中存储的文本数据中。