[发明专利]一种基于信息熵的公共安全数据分级索引方法及装置

说明书

本发明实施例提供一种基于信息熵的公共安全数据分级索引方法及装置，所述方法包括：获取待查询公共安全数据的关键字；根据预设索引结构对所述关键字进行索引；其中，所述预设索引结构是根据由信息熵表示的、表征各关键字之间关联程度的互信息量确定的分级索引结构。所述装置执行上述方法。本发明实施例提供的基于信息熵的公共安全数据分级索引方法及装置，通过由信息熵表示的互信息量确定的分级索引结构对公共安全数据的关键字进行索引，能够提高在公共安全数据索引时的索引速度。

技术领域

本发明涉及数据索引技术领域，尤其涉及一种基于信息熵的公共安全数据分级索引方法及装置。

背景技术

互联网社交网络、公共网站中含有大量的公共安全数据，但是，采集到的这些数据都杂乱无章，处于无序状态，查询这些数据会耗费过多的人力和物力。现有的数据文件系统对大量多源异构数据的存储和检索都存在瓶颈，数据由数据中心进行统一的存储和索引管理，当存储大量数据时，数据处理效率不高。因此，提出一种适用于公共安全数据快速检索的分级索引方法具有重要意义。

发明内容

针对现有技术存在的问题，本发明实施例提供一种基于信息熵的公共安全数据分级索引方法及装置。

本发明实施例提供一种基于信息熵的公共安全数据分级索引方法，包括：

获取待查询公共安全数据的关键字；

根据预设索引结构对所述关键字进行索引；其中，所述预设索引结构是根据由信息熵表示的、表征各关键字之间关联程度的互信息量确定的分级索引结构。

其中，所述根据预设索引结构对所述关键字进行索引，包括：

从所述预设索引结构的根节点开始逐级遍历所述关键字，并进行索引。

其中，预先构建所述预设索引结构，具体包括：

获取由各根节点关键字分别表示的词频表；所述词频表记录有属于同一根节点关键字的各数据关键字的词频数；

根据所述各根节点关键字对应的词频表数量、属于同一根节点关键字的各数据关键字的词频数，确定各数据关键字分别对应的信息熵；

根据各数据关键字分别对应的信息熵，确定所述互信息量；

确定各根节点关键字为所述预设索引结构中的根节点，根据所述互信息量，确定与所述互信息量相对应的数据关键字为所述根节点下的分级节点，并根据所有分级节点构建所述预设索引结构。

其中，所述根据所述各根节点关键字对应的词频表数量、属于同一根节点关键字的各数据关键字的词频数，确定各数据关键字分别对应的信息熵，包括：

根据所述各根节点关键字对应的词频表数量，确定属于同一根节点关键字的全部数据关键字对应的权重；

根据属于同一根节点关键字的各数据关键字的词频数，确定各数据关键字在与其对应的根节点关键字所表示的词频表中出现的概率；

根据所述权重和所述概率，确定各数据关键字分别对应的信息熵。

其中，所述根据所述权重和所述概率，确定各数据关键字分别对应的信息熵，包括：

根据如下公式计算各数据关键字分别对应的信息熵：

其中，H(X)为与关键字x对应的信息熵、λ为所述权重、P(x)为所述概率、x为所述关键字、X为包含有所述词频表的关键字集合。

其中，所述根据各数据关键字分别对应的信息熵，确定所述互信息量，包括：

根据如下公式确定所述互信息量：

I(X；Y)＝H(Y)-H(Y|X)