[发明专利]一种索引的维护方法及装置

说明书

技术领域

本发明涉及大数据领域，尤其涉及一种索引的维护方法及装置。

背景技术

随着科学技术的发展，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce(映射归约)、HBase一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service(网页-服务)的API(ApplicationProgrammingInterface,应用程序编程接口)。用户可以通过HTTP(HyperTextTransferProtocol，超文本传输协议)请求，向搜索引擎服务器提交一定格式的XML(ExtensibleMarkupLanguage，可扩展标记语言)文件生成索引；也可以通过HttpGet操作提出查找请求，并得到XML或json格式的返回结果。

在现有技术中，将所有的索引均存储在一个colletion。这样会导致将所有索引的相关数据信息作为一个数据段，并以段为单位存储至硬盘中，而硬盘删除数据时，只能以段为单位进行删除。因此在删除部分索引时，为了防止硬盘中不被删除的索引的相关数据的正常使用，通常建立维护删除文件列表，将需删除的索引的标识存储在上述维护删除文件列表中。将维护删除文件列表中记录的标识对应的索引视为被删除的索引，用户无法再使用。通过上述方法虽然实现了用户删除索引的目的，但是在服务器中，并未将索引正在删除，即为服务器中仍然存储有用户需删除的索引，浪费存储空间。并且需要增加维护删除文件列表维护删除的索引，增加了存储空间。也就是说，用户在删除索引时，不但没有减少存储空间的是使用，反而会增加存储空间的使用。降低了存储空间的使用效率。

发明内容

本发明的实施例提供一种索引的维护方法及装置，用以提高存储空间的使用效率。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明实施例提供了一种索引的维护方法，包括：根据预设删除规则，及已创建的colletion的创建时间，确定是否有第一colletion；其中，colletion中存储了索引，且不同的索引根据其时间信息，存储至不同的colletion中；所述第一colletion是待删除的colletion；在确定有所述第一colletion时，删除所述第一colletion，并更新检索对应的colletion。

进一步的，还包括：还包括：获取待存储索引；根据所述待存储索引的时间信息，预设存储规则，在已创建的类集colletion中确定是否有第二colletion，所述预设存储规则用于指示colletion能够存储的索引的时间范围；若确定有所述第二colletion，则将所述待存储索引存储至所述第二colletion。

进一步的，还包括：在确定没有所述第二colletion时，则新建与所述索引的时间信息对应的所述第二colletion，并将所述索引存储至所述第二colletion。

进一步的，所述预设删除规则是将预设时间范围外的colletion删除；所述根据预设删除规则，及colletion的创建时间，确定是否有第一colletion包括：根据所述删除规则，及colletion的创建时间，确定所述已创建的colletion的创建时间是否有在所述预设时间范围外的；若已创建的colletion的创建时间有在所述预设时间范围外的，则将已创建的colletion的创建时间在所述预设时间范围外的colletion，确定为第一colletion。

进一步的，本发明实施例提供了一种索引的维护装置，包括：确定单元，用于根据预设删除规则，及已创建的colletion的创建时间，确定是否有第一colletion；其中，colletion中存储了索引，且不同的索引根据其时间信息，存储至不同的colletion中；所述第一colletion是待删除的colletion；处理单元，用于在所述确定单元确定有所述第一colletion时，删除所述第一colletion，并更新检索对应的colletion。