[发明专利]基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质

说明书

本发明适用于互联网技术领域，提供了一种基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质，该方法包括：设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，构建分词模型；通过分词模型接收训练数据，根据字索引从预先获取的字向量表中获取对应的字向量，根据获取的字向量生成字标签索引；根据生成的字标签索引与训练数据的字标签索引的对比结果，调整分词模型的权重参数，得到优化后的分词模型；通过优化后的分词模型对待识别中文文本进行分词处理。本发明提供的一种基于BiLSTM网络模型及CRF模型的分词方法，能够减少人力成本，提高分词结果的准确度。

技术领域

本发明属于自然语言处理领域，尤其涉及一种基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质。

背景技术

随着信息社会的到来，中文文本信息的数量出现爆炸式的增长。中文作为一种黏着语，其结构模糊，中文的词与词之间没有明显的间隔，只有字和句子这两个层级的结构，但词却是中文文本意义的最小单位。若需要对中文文本进行命名实体识别、信息抽取、语法结构分析、自然语言理解等处理任务，必须对中文文本构建出词一级的结构。在构建中文文本的词一级的结构过程中，由于文本数量庞大，手工分词非常慢，并且汉语是以字构词，字与字之间是否成词需依照语句以及上下文意思来确定，导致手工分词过程中存在分词准确率低，效率低。

现有技术中，使用循环神经网络(Recurrent Neural Network，RNN)从大量文本中学习字的特征，并结合CRF、SVM对具有不同特征的字进行分类，进而确定哪些字是单字成词，哪些是几个字组成的词。现有技术由于采用简单原始的RNN，不能提取出字的长距离上下文中的隐含信息，导致学习到的特征表示不准确，存在分词准确率很低的问题。

发明内容

本发明实施例提供一种基于BiLSTM网络模型及CRF模型的分词方法，旨在解决现有技术中由于采用简单原始的RNN，不能提取出字的长距离上下文中的隐含信息，导致学习到的特征表示不准确，存在分词准确率很低的问题。

本发明是这样实现的，一种基于BiLSTM网络模型及CRF模型的分词方法，包括：

设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，基于所述设置后的BiLSTM网络模型及CRF模型构建分词模型；

通过所述分词模型接收训练数据，所述训练数据包括字索引及与字索引对应的字标签索引，根据所述字索引从预先获取的字向量表中获取对应的字向量，根据所述获取的字向量生成字标签索引；

根据所述生成的字标签索引与所述训练数据的字标签索引的对比结果，调整所述分词模型的权重参数，得到优化后的分词模型；

通过所述优化后的分词模型对待识别中文文本进行分词处理。

可选的，所述设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度之前，所述基于BiLSTM网络模型及CRF模型的分词方法还包括以下过程：

基于原始中文文本构建字典，其中，所述字典包括中文字符及其与中文字符对应的索引；

构建所述字向量表，所述字向量表包括所述字典中的索引及与所述索引对应字符的字向量；所述字典中字符的索引与所述字向量表的索引一一对应。

可选的，所述通过所述优化后的分词模型对中文文本进行分词处理，包括以下过程：

根据所述字典将所述中文文本转换成索引文本；

根据所述字向量表，将所述索引文本转换为字向量文本，并将所述字向量文本输入所述优化后的分词模型，通过所述优化后的分词模型得到每个索引对应的分词标签索引；