[发明专利]基于有向有权图发现新词的方法

摘要

本发明公开一种基于有向有权图发现新词的方法，本发明通过分词开源工具对语料进行分词，对分词的结果进行停用词过滤；根据分词结果建立词之间的关联关系以及权重，生成有向有权图；采用边权重门限阀值对有向有权图的边进行筛选，保留语料中同现频率比较高的词项搭配；筛选有向权重图中的孤立点以及自环，生成子图；根据子图中相邻节点间的边权重以及节点强度建立假设检验模型，从子图中筛选出可能的新词；根据词性标注规则对可能的新词进行筛选，生成最终的新词。本发明能够从语料库中准确地发现新词，减少了人工维护新词库的工作量，具有很好的可用性。

主权项

1.一种基于有向有权图发现新词的方法，其特征在于，所述方法包括以下步骤：S1、获取语料，且采用分词开源工具对语料进行分词，过滤停用词；S2、根据过滤后的分词结果，对滑动窗口范围内的词项建立有向边以及权重,根据有向边以及权重生成有向有权图；S3、采用边权重门限阀值对有向有权图的边进行过滤，且保留语料中同现频率较高的词项搭配；S4、根据过滤后的有向有权图，筛选有向有权图中的孤立点以及自环，生成有向有权图的子图；S5、根据子图中相邻节点之间的边权重以及节点强度，验证该相邻节点是否属于新词搭配；(8a)计算相邻节点vi、节点vj的分布均值μ，计算方法如下:μ＝sisj/S2式中，si为所述子图中节点vi的强度，sj为所述子图中节点vj的强度，S为所述子图中的节点总强度；(8b)计算节点v_i和节点v_j的样本均值和样本方差s²，计算方法如下：其中，wij为子图中节点vi和节点vj的边权重；(8c)做零假设H₀，(8d)计算t检验值，具体计算方法如下：(8e)检验零假设H0，具体检验过程如下：判断t检验值的绝对值是否大于t分布α的临界值，若大于，则接受零假设H0，即节点vi和节点vj对应的标签属性属于新词搭配；否则，则拒绝零假设H0，即节点vi和节点vj对应的标签属性不属于新词搭配S6、根据词性标注规则对新词搭配进行筛选，生成最终的新词。