[发明专利]一种数据驱动的中文词语义相似度计算方法

摘要

本发明公开了一种数据驱动的中文词语义相似度计算方法，包括以下步骤文本故事集合的初始化；建立相关性关系图模型；通过tf‑idf可分性值对所述相关性关系图模型进行修剪；将修剪后的相关性关系图模型作为Simrank算法输入，通过Simrank的迭代计算词语对之间的语义相似度；以所述语义相似度为核心定义柔性语义相似度度量模型；基于所述柔性语义相似度度量模型对中文新闻文本进行协同分割。本方法能更好的区分出属于同一主题的词语和不属于同一主题的词语，同时还能度量词字与其组成的词语之间的语义相似度。在标准数据集上的实验显示，相对于现有方法，新闻故事协同分割的结果的F1‑measure绝对值增长了11%。

主权项

一种数据驱动的中文词语义相似度计算方法，其特征在于，所述方法包括以下步骤：(1)文本故事集合的初始化；(2)建立相关性关系图模型；(3)通过tf‑idf可分性值对所述相关性关系图模型进行修剪；(4)将修剪后的相关性关系图模型作为Simrank算法输入，通过Simrank的迭代计算词语对之间的语义相似度；(5)以所述语义相似度为核心定义柔性语义相似度度量模型；(6)基于所述柔性语义相似度度量模型对中文新闻文本进行协同分割；其中，所述文本故事集合的初始化的步骤具体为：1)输入带有故事边界和故事主题标定的文本集合每个主题由m个故事组成，表示第i个主题的第j个故事，n为主题的数量；2)提取出文本集合C中所有出现的词，去掉重复组成有顺序的词语集合Vword，提取文本集合C中所有的字组成字集合Vchar，词语集合Vword与字集合Vchar取并集生成词典V；3)以词语集合Vword中的元素为向量的基，对文本集合C中的每个故事建立词频向量模型；其中，所述建立相关性关系图模型的步骤具体为：1)建立词对上下文连接图模型；2)建立词语局部连接图模型；3)通过所述词对上下文连接图模型和所述词语局部连接图模型建立相关性关系图模型；所述相关性关系图模型具体为：G＝＜V,E,W＞V＝VwordUVchar，边集合E＝EC UEP，边权重集合W＝WC UWP，其中，EC为词对上下文连接图的边集合；EP为词语局部连接图的边集合；WC为词对上下文连接图的边权重集合；WP为词语局部连接图的边权重集合；其中，所述通过tf‑idf可分性值对所述相关性关系图模型进行修剪的步骤具体为：Disc(wa)=mean{tf-idflayera}]]>其中，tf-idflayera={tf-idf:tf-idfia>mean{tf-idfa},i=1,..,n}]]>tf‑idf表示词频‑逆向文件频率，tf‑idfa表示词语wa对于文本集中所有主题计算出的tf‑idf值的集合，其中tf‑idfia表示集合tf‑idfa中的第i个数值，以mean{tf‑idfa}为阈值，对集合tf‑idfa中大于阈值的数值再求一次平均即得到词语wa的可分性值Disc(wa)，对可分性值低于设定阈值d的词语节点、以及与该节点连接的边进行清除，同时将清除词语后产生的孤立的汉字节点也进行清除；所述将修剪后的相关性关系图模型作为Simrank算法输入，通过Simrank的迭代计算词语对之间的语义相似度的步骤具体为：获取语义相似度矩阵为Mca={Disc(wi)M′ca(i,j)Disc(wj)}i,j∈|Vword|;]]>其中，Mca为加强后的语义相似度矩阵，M'ca(i,j)表示词语集合Vword中第i个词和第j个词之间的语义相似度；Disc(wi)和Disc(wj)用于表示可分性值；所述以所述语义相似度为核心定义柔性语义相似度度量模型的步骤具体为：Sim(sx,sy|Mca)=FxTMcaFyFxTMcaFxFyTMcaFy]]>其中，Fx为文本sx的词频向量模型，Fy为文本sy的词频向量模型，T为转置，Sim(sx,sy|Mca)表示文本故事sx和sy之间的柔性语义相似度。