[发明专利]一种基于形态和语义相似度的对话短文本聚类方法

摘要

本发明公开了一种基于形态和语义相似度的对话短文本聚类方法，其中形态相似度采用字符串编辑距离相似度，语义相似度基于HowNet和WordNet知识库；在计算短文本相似度的时候引入短文本和词语的权重值。本发明在一定程度上解决对话短文本中包含一些不规整、输入错误噪音信息以及同义词、语义鸿沟的问题，从而相对与基于词袋向量的聚类方法有较大的提升。

主权项

一种基于形态和语义相似度的对话短文本聚类方法，其特征在于该方法包括以下具体步骤：步骤S1：对于中文短文本采用分词工具进行分词处理，然后利用正则匹配与字符串替换来过滤掉无效字符、连续空格、大小写混用噪音信息；对于英文短文本采用词干提取工具进行预处理；步骤S2：利用TF‑IDF和TextRank方法进行关键词提取来获取候选关键词以及对应的权重值；将去除噪音的短文本和关键词集合相结合起来形成带有权重值的格式化短文本；根据带有权重的格式化短文本定义一种新的短文本和类中心的表示方式；步骤S3：聚类开始的时候，类中心集合为空；当第一个对话短文本输入之后，发现类中心集合为空，则以当前短文本为基础建立一个类中心，并加入类中心集合；当第二个短文本输入之后，遍历类中心集合发现存在一个类中心，根据短文本和类中心的表示方式，结合形态和语义因素来计算当前短文本与类中心的相似度距离D；形态因素采用编辑距离相似度；语义因素采用知网、同义词林和WordNet知识库的词语语义相似度；如果D小于阈值T，则将该对话短文本加入该类中心并更新该类中心；否则从类中心集合中取下一个类中心进行同样判断，当遍历完了类中心集合之后依旧没有符合要求的类中心，则需要以该短文本为基础建立一个新的类中心并加入类中心集合；依次循环上述过程，直到所有对话短文本完成聚类；最终的类中心集合则为所需聚类结果，每个对话短文本与最终类中心集合中哪个类中心的相似度距离最小，则该对话短文本就属于这个类：其中：所述步骤S1中新的对话短文本与类中心的表示方式为：ⅰ)短文本ST由原始短文本RST、规整化字符串文本FST和关键词集合KWL三部分组成，其短文本ST的数学描述为：ST＝{RST,FST/WT,KWL＝[KW1/wt1,...,KWi/wti,...]}，WT表示FST的权重，wti表示KWi的权重；ⅱ)类中心Center由类标号CID、类权重CWT、类成员数目CMN、原始短文本集合CRSTL、规整化字符串文本集合CFSTL和关键词集合CKWL组成，其类中心Center的数学描述为：WTj表示FSTj的权重，wtk表示KWk的权重。