[发明专利]领域术语抽取方法、装置、终端设备及存储介质

说明书

本发明公开了一种领域文本抽取方法，包括：获取所述训练集的每个类别的至少一个分类词，生成相应于每个所述类别的第一特征词集合；对所述第一特征词集合进行合并、扩充，生成目标特征词集合；根据所述目标特征词集合以及所述训练集，计算每个所述目标特征词在每个所述类别中与每个所述目标特征词之间的内部结合紧密度，以及计算每个所述目标特征词相对于所述目标特征词集合中的每个所述目标特征词的左熵和右熵；根据所述内部结合紧密度、所述左熵以及所述右熵，得到每个所述类别的术语。本发明还公开了一种领域术语抽取的装置、终端设备及存储介质，可以解决特征词集合不能准确地表达特定学科领域的问题，提高了文本分类的准确性。

技术领域

本发明涉及文本分类技术领域，尤其涉及一种的领域术语抽取方法、装置、终端设备及存储介质。

背景技术

文本分类问题算是自然语言处理领域中一个非常经典的问题，而从一定规模的语料中抽取出能反应某一领域文本特征或共性的词语，是文本分类的基础，也是自然语言处理中的一项重要任务。传统抽取特征词的方法一般采用常规的特征表示的方法从语料中提取对应的词语作为某领域的特征词或术语，例如利用卡方检验算法、互信息算法或文本频率法来提取特征词。

然而，发明人在实施本发明的过程中发现，卡方检验算法在存在类别交叉现象明显的文本分类中表现出高于其他算法的分类性能，但是由于卡方分类算法不考虑词频信息，因此过于倚重低频词，不利于文本特征的真实表示，同理，互信息也是由于没有考虑特征项的词频信息，出现同一倾向于选择低频词的特点。而文本频率法则过于关注词频信息，容易误删稀有词，从而导致提取得到的特征词集合不能准确地表达特定学科领域，降低了文本分类的准确性。

发明内容

针对上述问题，本发明的目的在于提供一种领域术语抽取方法、装置、终端设备以及存储介质，可以解决特征词集合不能准确地表达特定学科领域的问题，能够清楚地表示每个领域或类别的特征，提高了文本分类的准确性。

第一方面，本发明实施例提供了一种领域术语抽取方法，包括：

根据待处理的训练集中的文本，获取所述训练集的每个类别的至少一个分类词；其中，所述训练集包括至少一个类别；每个所述类别包括至少一篇文本；

根据每个所述类别的每个分类词，获得相应于每个所述类别的第一特征词集合；

将每个所述第一特征词集合进行合并，生成第二特征词集合；

根据每个所述类别的每篇文本，对所述第二特征词集合进行扩充，生成目标特征词集合；其中，所述目标特征词集合包括至少两个目标特征词；

根据所述目标特征词集合以及所述训练集，计算每个所述目标特征词在每个所述类别中与所述目标特征词集合中的每个所述目标特征词之间的内部结合紧密度；

根据所述目标特征词集合以及所述训练集，计算每个所述目标特征词相对于所述目标特征词集合中的每个所述目标特征词的左熵和右熵；

根据所述内部结合紧密度、所述左熵以及所述右熵，得到每个所述类别的术语。

在第一方面的第一种实现方式中，所述根据每个所述类别的每个分类词，获得相应于每个所述类别的第一特征词集合具体为：

计算每个所述类别的每个分类词的卡方值；

根据每个所述卡方值，获得每个所述类别的至少一个第一特征词，并生成相应于每个所述类别的第一特征词集合。

在第一方面的第二种实现方式中，所述第二特征词集合包括至少一个第二特征词；则所述根据每个所述类别的每篇文本，对所述第二特征词集合进行扩充，生成目标特征词集合；其中，所述目标特征词集合包括至少两个目标特征词具体为：

获取每个所述类别中的每篇文本的至少一个分词，并构建每个所述分词的词向量以及每个所述第二特征词的词向量；