[发明专利]一种数据库的控制方法和装置

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据库的控制方法和装置。

背景技术

随着互联网的高速发展，人们的信息来源得到了极大的丰富，信息获取方式也随之而改变，这给人类带来机遇的同时也带来挑战，在Web信息成几何基数增长的前提下，如何能够快速准确的进行数据搜索，搜索到需要的东西，是数据处理技术领域研究的方向之一。

在数据搜索中，搜索引擎spider得到越来越多的应用，spider是搜索引擎的一个自动程序，其作用是抓取互联网上的网页，建立索引数据库，使用户能在搜索引擎中搜索到相关网站的网页。

在具体实施过程中，spider每天要抓取大量网站链接，在抓取之前都需要获取待抓取网站的IP地址以及robots等信息，这些信息不可能实时的从互联网上查询，而只能通过内部的域名服务器DNS查询。

但是，由于DNS中存储的数据量在不断的增加，因此查询速度也会随之变慢，不能满足快速查询的需求。而且，对DNS中的数据进行更新时，也会增加DNS的工作量，这也影响了查询的速度。同样，在实时网页数据库以及其他关键字-数据值(Key-value)数据库中也会遇到类似的问题。

如何能够更好的对数据进行查询以及更新，满足高性能的读写服务，是数据处理技术领域研究的方向之一。

发明内容

本发明所要解决的技术问题是提供一种数据库的控制方法和装置，以支持高性能读写操作，满足对数据的高性能随机查询与更新需求。

本发明为解决技术问题而采用的技术方案是提供一种数据库的控制方法，包括：a.接收操作信息；b.根据所述操作信息在位于内存的索引中查询对应数据块的索引信息，其中所述对应数据块包括多个数据项，每一所述数据项包括关键字与数据值，所述对应数据块选择性位于所述内存及固态存储器中；c.根据所述操作信息及所述索引信息对所述对应数据块进行相应操作。

根据本发明之一优选实施例，在所述步骤a中，接收读取操作指令以及待读取数据项的关键字，在所述步骤b中，根据所述待读取数据项的关键字查询所述索引信息，在所述步骤c中，若查询到所述索引信息，则根据所述索引信息判断所述对应数据块位于所述内存中还是位于所述固态存储器中，并根据判断结果，选择从所述内存或所述固态存储器中读取对应数据项。

根据本发明之一优选实施例，所述索引包括第一索引和第二索引，在所述步骤b进一步包括：根据所述第一索引查询与所述待读取数据项的关键字对应的位置信息，所述位置信息包括数据块识别信息、数据项偏移信息以及数据项长度信息；以及根据所述第二索引查询与所述数据块识别信息对应的数据块信息，所述数据块信息包括数据块状态、内存指针以及固态存储器文件描述符，在所述步骤c中，根据所述数据块状态判断所述对应数据块位于所述内存还是位于所述固态存储器。

根据本发明之一优选实施例，在所述步骤c中，若所述数据块位于所述内存，则根据所述内存指针、所述数据项偏移信息以及所述数据项长度信息读取所述对应数据项。

根据本发明之一优选实施例，在所述步骤c中，若所述数据块位于所述固态存储器，则根据所述固态存储器文件描述符、所述数据项偏移信息以及所述数据项长度信息读取所述对应数据项。

根据本发明之一优选实施例，所述步骤c进一步包括：判断所述对应数据项的关键字与所述待读取数据项的关键字是否一致，若不一致，则判定所述待读取数据项不存在，若一致，则将所述对应数据项的数据值作为所述待读取数据项的数据值。

根据本发明之一优选实施例，在步骤a中，接收写入操作指令以及待写入数据项，在所述步骤b中，根据所述待写入数据项的关键字查询所述索引信息。

根据本发明之一优选实施例，所述步骤c进一步包括：若未查询到所述索引信息，则将所述待写入数据项写入位于所述内存中的用于接收所述待写入数据项的数据块内，并更新所述索引。

根据本发明之一优选实施例，所述步骤c进一步包括：在所述数据块写满后，将所述数据块写入所述固态存储器，并进一步更新所述索引。

根据本发明之一优选实施例，所述索引包括第一索引和第二索引，所述步骤c进一步包括：在所述第一索引中记录与所述待写入数据项的关键字对应的位置信息，所述位置信息包括数据块识别信息、数据项偏移信息以及数据项长度信息；以及在所述第二索引中记录与所述数据块识别信息对应的数据块信息，所述数据块信息包括数据块状态、内存指针以及固态存储器文件描述符。