[发明专利]实体相似匹配方法及系统

说明书

本发明涉及自然语言处理技术领域，本发明旨在解决现有的短文本相似度匹配方法存在的效率较低的问题，提出一种实体相似匹配方法及系统，方案概括为：初始化实体索引表、字索引表和停用字与高频字表；接收输入的字符串，过滤字符串中的停用字与高频字后，将字符串分割为字符串序列；根据字符串序列在字索引表中进行检索得到检索结果，对检索结果进行汇总排序，并从中选取前N个检索结果；分别计算N个检索结果的检索相似度，从N个检索结果中选取检索相似度大于预设值的检索结果；根据检索相似度大于预设值的检索结果在实体索引表中进行检索得到对应的实体字符串，从实体字符串中确定出相似度最高的目标实体。本发明提高了实体相似匹配的效率。

技术领域

本发明涉及自然语言处理技术领域，具体来说涉及一种实体相似匹配方法及系统。

背景技术

长文本相似度算法和检索算法目前已经有一些较为成熟的算法，比如谷歌的simhash算法，能够从海量长文本中较为高效的找到与目标文本相似的文本，但是这种算法不适用于短文本。传统的编辑距离算法、余弦相似度算法等能够适用于短文本相似度匹配，但是随着数据量增加，匹配效率逐渐降低，经过测试发现编辑距离算法在1000条短文本中查找相似文本效率较好，超过1000条则效率不高，原因在于编辑距离算法需要对输入的短文本与数据库中的所有短文本进行比较，计算量太大，但实际应用时其中大多数文本不必参与相似度计算。

发明内容

本发明旨在解决现有的短文本相似度匹配方法存在的效率较低的问题，提出一种实体相似匹配方法及系统。

本发明解决上述技术问题所采用的技术方案是：实体相似匹配方法，包括以下步骤：

步骤1、初始化实体索引表、字索引表和停用字与高频字表，所述实体索引表用于存储所有实体，所述字索引表用于存储除开停用字与高频字的所有字与实体的映射关系，所述停用字与高频字表用于存储实体中的停用字与高频字；

步骤2、接收输入的字符串，根据所述停用字与高频字表过滤字符串中的停用字与高频字后，将字符串分割为字符串序列；

步骤3、根据所述字符串序列在字索引表中进行检索得到检索结果，对所述检索结果进行汇总排序，并从中选取前N个检索结果，所述N为大于1的整数；

步骤4、分别计算选取的N个检索结果的检索相似度，从N个检索结果中选取所述检索相似度大于预设值的检索结果；

步骤5、根据所述检索相似度大于预设值的检索结果在实体索引表中进行检索得到对应的实体字符串，从所述实体字符串中确定出相似度最高的目标实体。

进一步的，步骤1中，所述实体索引表和字索引表使用哈希索引，实体索引表的hashkey为自增数字序列，实体索引表的hashvalue为实体；字索引表的hashkey为字，字索引表的hashvalue为实体索引表的hashvalue的长度。

进一步的，步骤1中，所述停用字与高频字表中的停用字与高频字通过人为经验和统计方法得到。

进一步的，步骤3中，所述N为20。

进一步的，步骤4中，所述检索相似度的计算方法包括：

设检索结果为ENT1，L1为检索到的ENT1的次数，L2为ENT1的长度，则检索相似度FIND_SIM＝L1/L2。

进一步的，步骤4中，所述预设值为0.5。

进一步的，步骤5中，所述从实体字符串中确定出相似度最高的目标实体包括：

使用编辑距离算法或余弦相似度算法计算各实体字符串的相似度，从实体字符串中确定出所述相似度最高的目标实体。

本发明还提出一种实体相似匹配系统，包括：