[发明专利]缩简词的消歧方法和消歧设备

摘要

本发明公开了一种缩简词的消歧方法和消歧设备。该消歧方法包括：针对待处理文本中的缩简词，查找共现语义知识库中与该缩简词对应的全称实体；在查找到多个全称实体的情况下，针对每一个全称实体，检索待处理文本中出现的、共现语义知识库中与该全称实体存在关联关系的参考实体；基于参考实体与该全称实体之间的共现支持概率TF‑IDF，计算该全称实体的共现概率；基于共现概率，选择多个全称实体之一作为与该缩简词对应的全称实体；其中，所述TF‑IDF等于参考实体与该全称实体的共现次数TF和参考实体与该全称实体的逆向文件频率IDF之积。 1

主权项

1.一种缩简词的消歧方法，包括：

针对待处理文本中的缩简词，查找共现语义知识库中与该缩简词对应的全称实体；

在查找到多个全称实体的情况下，

针对每一个全称实体，

检索待处理文本中出现的、共现语义知识库中与该全称实体存在关联关系的参考实体；

基于参考实体与该全称实体之间的共现支持概率TF‑IDF，计算该全称实体的共现概率；

基于共现概率，选择多个全称实体之一作为与该缩简词对应的全称实体；

其中，所述TF‑IDF等于参考实体与该全称实体的共现次数TF和参考实体与该全称实体的逆向文件频率IDF之积。

2.如权利要求1所述的方法，其中，所述缩简词包括英文缩写和中文简称。

3.如权利要求1所述的方法，其中，所述共现语义知识库通过如下步骤构建：

从百科知识库中，搜索具有消歧属性的缩简词实体、对应的多个全称实体；

统计在包含所搜索到的全称实体的语料中出现的其它实体与全称实体之间的TF‑IDF；

基于TF‑IDF，选择上述其它实体中的部分实体作为参考实体；

基于参考实体、上述多个全称实体、它们之间的TF‑IDF，构建所述共现语义知识库。

4.如权利要求3所述的方法，其中，还通过对文本语料的特定模式匹配，搜索缩简词实体、对应的全称实体。

5.如权利要求3所述的方法，其中，还从百科知识库中，搜索不具有消歧属性的缩简词实体、对应的全称实体。

6.如权利要求3所述的方法，其中，所述缩简词实体与所述多个全称实体之间的对应关系、所述全称实体与所述参考实体之间的TF‑IDF以资源描述框架RDF形式存在于关联数据linked data形式的所述共现语义知识库中。

7.如权利要求1所述的方法，其中，在查找到一个全称实体的情况下，将该全称实体确定为与所述缩简词对应的全称实体。

8.如权利要求1所述的方法，其中，在未检索到参考实体的情况下，选择多个全称实体中成为消歧结果最多的全称实体，作为与所述缩简词对应的全称实体。

9.如权利要求1所述的方法，其中，在未检索到参考实体的情况下，利用消歧模型，将多个全称实体之一确定为与所述缩简词对应的全称实体。

10.一种缩简词的消歧设备，包括：

查找装置，被配置为：针对待处理文本中的缩简词，查找共现语义知识库中与该缩简词对应的全称实体；

确定装置，被配置为：在查找到多个全称实体的情况下，

针对每一个全称实体，

检索待处理文本中出现的、共现语义知识库中与该全称实体存在关联关系的参考实体；

基于参考实体与该全称实体之间的共现支持概率TF‑IDF，计算该全称实体的共现概率；

基于共现概率，选择多个全称实体之一作为与该缩简词对应的全称实体；

其中，所述TF‑IDF等于参考实体与该全称实体的共现次数TF和参考实体与该全称实体的逆向文件频率IDF之积。