[发明专利]一种基于词性标记的领域新词提取方法、系统及设备

权利要求书

1.一种基于词性标记的领域新词提取方法，其特征在于，包括：

对待处理文本进行分词处理，得到多个分词；

利用词性标注模型对每个所述分词进行标记，得到词性标记；

基于所述词性标记，采用正则表达式从所述待处理文本中选择与定义的词性模式相匹配的候选短语；

利用预训练的语言模型，根据所述候选短语与所述待处理文本的语义相似性对所述候选短语进行排序；

对排序后的候选短语进行过滤提取领域新词。

2.根据权利要求1所述的基于词性标记的领域新词提取方法，其特征在于，在对排序后的候选短语进行过滤提取领域新词之后，还包括：

将提取的领域新词添加到用户词典中。

3.根据权利要求1所述的基于词性标记的领域新词提取方法，其特征在于，对待处理文本进行分词处理，得到多个分词，具体包括：

根据用户词典中的领域专业词表对待处理文本进行分词处理，得到多个分词。

4.根据权利要求1所述的基于词性标记的领域新词提取方法，其特征在于，对排序后的候选短语进行过滤提取领域新词，具体包括：

通过相似性阈值或者topN对排序后的候选短语进行过滤提取领域新词。

5.一种基于词性标记的领域新词提取系统，其特征在于，包括：

分词处理单元，用于对待处理文本进行分词处理，得到多个分词；

词性标记单元，用于利用词性标注模型对每个所述分词进行标记，得到词性标记；

候选短语选择单元，用于基于所述词性标记，采用正则表达式从所述待处理文本中选择与定义的词性模式相匹配的候选短语；

排序单元，用于利用预训练的语言模型，根据所述候选短语与所述待处理文本的语义相似性对所述候选短语进行排序；

领域新词提取单元，用于对排序后的候选短语进行过滤提取领域新词。

6.根据权利要求5所述的基于词性标记的领域新词提取系统，其特征在于，还包括：

添加单元，用于将提取的领域新词添加到用户词典中。

7.根据权利要求5所述的基于词性标记的领域新词提取系统，其特征在于，所述分词处理单元根据用户词典中的领域专业词表对待处理文本进行分词处理，得到多个分词。

8.根据权利要求5所述的基于词性标记的领域新词提取系统，其特征在于，所述领域新词提取单元通过相似性阈值或者topN对排序后的候选短语进行过滤提取领域新词。

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-4中任一项所述的基于词性标记的领域新词提取方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的基于词性标记的领域新词提取方法。