[发明专利]领域新词识别方法、装置、计算机设备和存储介质

权利要求书

1.一种领域新词识别方法，所述方法包括：

遍历目标领域的数据资源库，获取满足预设数据要求的目标文本集合，将所述目标文本集合以完整语句为单位进行拆分，获得目标语句；

将获取的目标语句以组成字为单位进行拆分，确定每个字的one-hot向量，对所述one-hot向量进行降维处理，获取所述目标语句各组成字的字向量；

将所述目标语句各组成字的字向量输入预设的领域专有词序列标注模型，获得所述目标语句各组成字的序列标识；

根据所述序列标识，筛选所述目标语句中携带领域专有词标识的目标词汇；

获取所述目标词汇的自由度和凝固度，当所述自由度满足预设自由度阈值范围且所述凝固度满足预设凝固度阈值范围时，确定所述目标词汇为领域新词；

其中，所述领域专有词序列标注模型为包括三层神经网络的Bi-LSTM+CRF模型，第一层为输入层，输入目标语句的各个字对应的字向量，第二层为Bi-LSTM层，将输入目标语句的字向量作为Bi-LSTM的各个时间步的双向输入，再将正向LSTM输出的隐状态向量与反向LSTM输出的隐状态向量按位置进行拼接，得到完整的隐状态序列，接入一个线性层，将所述隐状态序列进行映射，得到每个字的分类到标注集的每个标签的分值，多个所述分值组成矩阵，用于提取所述目标语句的特征，第三层为CRF层，对所述目标语句的特征进行句子级的序列标注，根据所述字向量，上下文向量和已标注好的包含目标词的标注集，确定所述目标语句各组成字的序列标识。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标语句各组成字的字向量输入预设的领域专有词序列标注模型，获得携带有领域专有词标识的目标词汇之前，还包括：

获取包含领域专有词的样本语料；

根据预设的领域词典，对所述样本语料进行序列标注，获得多个携带有序列标识的训练样本；

将所述训练样本以组成字为单位进行拆分，获取所述训练样本各组成字的字向量；

获取初始序列标注模型，根据所述训练样本的序列标识和所述各组成字的字向量，对所述初始序列标注模型进行训练，得到所述预设的领域专有词序列标注模型。

3.根据权利要求2所述的方法，其特征在于，所述根据预设的领域词典，对所述样本语料进行序列标注，获得多个携带有序列标识的训练样本包括：

根据预设的领域词典，识别所述样本语料中的领域专有词；

根据所述领域专有词，对所述样本语料进行BIO序列标注；

将携带有BIO标识的样本语料作为训练样本。

4.根据权利要求2所述的方法，其特征在于，所述根据预设的领域词典，对所述样本语料进行序列标注，获得多个携带有序列标识的训练样本之前，还包括：

获取包含基础词汇的领域基础词典；

根据所述领域基础词典，遍历预设领域语料库，获取领域扩充词汇；

根据所述领域基础词典和所述领域扩充词汇，构建所述预设的领域词典。

5.根据权利要求4所述的方法，其特征在于，所述获取所述目标词汇的自由度和凝固度，当所述自由度满足预设自由度阈值范围且所述凝固度满足预设凝固度阈值范围时，确定所述目标词汇为领域新词之后，还包括：

将所述目标词汇更新至所述领域词典。