[发明专利]基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质

权利要求书

1.一种基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述基于BiLSTM网络模型及CRF模型的分词方法包括：

设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，基于所述设置后的BiLSTM网络模型及CRF模型构建分词模型；

通过所述分词模型接收训练数据，所述训练数据包括字索引及与字索引对应的字标签索引，根据所述字索引从预先获取的字向量表中获取对应的字向量，根据所述获取的字向量生成字标签索引；

根据所述生成的字标签索引与所述训练数据的字标签索引的对比结果，调整所述分词模型的权重参数，得到优化后的分词模型；

通过所述优化后的分词模型对待识别中文文本进行分词处理。

2.根据权利要求1所述的基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度之前，所述基于BiLSTM网络模型及CRF模型的分词方法还包括以下过程：

基于原始中文文本构建字典，其中，所述字典包括中文字符及其与中文字符对应的索引；

构建所述字向量表，所述字向量表包括所述字典中的索引及与所述索引对应字符的字向量；所述字典中字符的索引与所述字向量表的索引一一对应。

3.根据权利要求2所述的基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述通过所述优化后的分词模型对中文文本进行分词处理，包括以下过程：

根据所述字典将所述中文文本转换成索引文本；

根据所述字向量表，将所述索引文本转换为字向量文本，并将所述字向量文本输入所述优化后的分词模型，通过所述优化后的分词模型得到每个索引对应的分词标签索引；

从预先获取的词标签列表中查找所述分词标签索引对应的分词标签，其中，所述词标签列表包括分词标签索引及与所述分词标签索引对应的分词标签；

根据所述分词标签得到词边界，根据所述词边界确定所述中文文本的分词结果。

4.根据权利要求3所述的基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述根据所述分词标签确定所述中文文本的分词结果之后，所述基于BiLSTM网络模型及CRF模型的分词方法还包括以下步骤：

根据所述分词结果与所述字典中包含的字符确定目标字符，所述目标字符为出现在所述分词结果中、且未出现在所述字典中的字符；将所述目标字符及对应的索引更新到所述字典中；

根据所述分词结果与预先获取的词典中包含的词语确定目标词语，所述目标词语为出现在所述分词结果中、且未出现在所述词典中的词语；将所述目标词语及对应的索引更新到所述词典中。

5.一种基于BiLSTM网络模型及CRF模型的分词装置，其特征在于，所述基于BiLSTM网络模型及CRF模型的分词装置包括：

设置模块，用于设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，基于所述设置后的BiLSTM网络模型及CRF模型构建分词模型；

处理模块，用于通过所述分词模型接收训练数据，所述训练数据包括字索引及与字索引对应的字标签索引，根据所述字索引从预先获取的字向量表中获取对应的字向量，根据所述获取的字向量生成字标签索引；

优化模块，用于根据所述生成的字标签索引与所述训练数据的字标签索引的对比结果，调整所述分词模型的权重参数，得到优化后的分词模型；

分词处理模块，用于通过所述优化后的分词模型对待识别中文文本进行分词处理。

6.根据权利要求5所述的基于BiLSTM网络模型及CRF模型的分词装置，其特征在于，所述基于BiLSTM网络模型及CRF模型的分词装置还包括：

第一构建模块，用于基于原始中文文本构建字典，其中，所述字典包括中文字符及其与中文字符对应的索引；

第二构建模块，用于构建所述字向量表，所述字向量表包括所述字典中的索引及与所述索引对应字符的字向量；所述字典中字符的索引与所述字向量表的索引一一对应。