[发明专利]一种文本中近义词判别方法、系统、设备和介质

权利要求书

1.一种文本中近义词判别方法，其特征在于，包括：

获取指定领域范围的待判别文本，构建文本数据集；

获取所述文本数据集中每个词对应的词序列，根据所述词序列之间的相似度，得到近义词集合，所述近义词集合为多个；

构建标准词库，根据所述近义词集合中词序列与所述标准词库中标准词序列之间的距离，更新标准词对应的词集合。

2.根据权利要求1所述的文本中近义词判别方法，其特征在于，获取所述文本数据集中每个词对应的词序列，包括：

对所述待判别文本进行预处理，其中预处理包括数据清洗和特殊标点符号处理；

对经过预处理的文本进行分词，并去除重复词；

将每个词拆分成单个字作为序列元素，构建每个词对应的词序列。

3.根据权利要求1所述的文本中近义词判别方法，其特征在于，计算所述词序列之间的相似度之前，还包括：

根据词序列长度设置判别阈值，当两词序列长度差达到所述判别阈值时，计算对应词序列间的相似度，反之，则不计算相似度。

4.根据权利要求3所述的文本中近义词判别方法，其特征在于，所述判别阈值的计算方式包括：len(S)*(1-pl)≤G≤len(S)*(1+pl)

其中，G表示判别阈值，len(S)表示序列S的长度；pl表示判别阈值系数。

5.根据权利要求3所述的文本中近义词判别方法，其特征在于，计算词序列间的相似度包括：

计算两个词序列的交集和并集，并根据词序列的交并比计算相似度值；

当两个词序列间有一个词序列为另一个词序列的子集时，相似度值为1。

6.根据权利要求1所述的文本中近义词判别方法，其特征在于，更新标准词对应的词集合，包括：

获取每个近义词集合中的频繁词序列，作为对应近义词集合的中心词序列；

当所述中心词序列与所述标准词库中的标准词序列相似度达到设定阈值时，中心词序列对应的近义词集合与标准词序列对应的词集合合并；

当所述标准词库中没有与所述中心词序列匹配的标准词序列时，标注所述中心词序列，并将标注后的中心词序列作为新的标准词序列录入所述标准词库，对应的近义词集合作为所述新的标准词序列对应的词集合。

7.一种文本中近义词判别系统，其特征在于，包括：

数据获取模块，用于获取指定领域范围的待判别文本，构建文本数据集；

近义词集合获取模块，用于获取所述文本数据集中每个词对应的词序列，根据所述词序列之间的相似度，得到近义词集合，所述近义词集合为多个；

标准词库更新模块，用于构建标准词库，根据所述近义词集合中词序列与所述标准词库中标准词序列之间的距离，更新标准词对应的词集合。

8.根据权利要求7所述的文本中近义词判别系统，其特征在于，所述近义词集合获取模块包括阈值判别单元，用于根据词序列长度设置判别阈值，当两词序列长度差达到所述判别阈值时，计算对应词序列间的相似度，反之，则不计算相似度。

9.一种文本中近义词判别设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-6中任一所述的方法。

10.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-6中任一所述的方法。