[发明专利]一种中文分词方法、装置、电子设备及存储介质

说明书

本发明提供了一种中文分词方法、装置、电子设备及存储介质，包括步骤：获取待处理文本序列，待处理文本序列中包括多个依次排列的字符；提取待处理文本序列中每个字符对应的特征向量，得到一个特征向量组；将特征向量组中每个特征向量映射为一个二维向量，其中，二维向量包括第一维值和第二维值；通过第一维值和第二维值确定对应字符间隔是否为词边界。该方法将中文字词的多分类问题简化到词边界的两分类问题，即该字符间隔是词边界和不是词边界，这样系统在对待处理文本序列进行分词时，计算量将大大减少，所消耗的时间自然大大缩短，从而提高整个中文分词处理的工作效率。

技术领域

本发明涉及自然语言处理领域，具体涉及一种中文分词方法、装置、电子设备及存储介质。

背景技术

中文分词作为自然语言处理中的基本工作之一，是许多自然语言处理任务必备且关键的预处理环节，其结果性能的好坏将直接影响到后续任务的最终性能。因此，准确并高效地处理好中文分词可以有效地帮助其他中文自然语言处理任务。

近年来，随着神经网络的发展，基于深度学习的序列标注模型在中文分词的性能上取得了突破性的进展，但是很多序列标注模型在进行中文分词处理时的时间复杂度过高，例如，通常会将字符分类为：单字词、词首、词的中间、词尾等等，因此在进行分词时需要对这众多字符的分类进行众多判断，所消耗的时间将会变长，从而导致整个中文分词处理以及后续工作的效率低。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中分词处理时的时间复杂度过高缺陷，从而提供一种中文分词方法，包括如下步骤：获取待处理文本序列，所述待处理文本序列中包括多个依次排列的字符；提取所述待处理文本序列中每个字符对应的特征向量，得到一个特征向量组；将所述特征向量组中每个特征向量映射为一个二维向量，其中，所述二维向量包括第一维值和第二维值，所述第一维值为能够影响对应字符间隔不为词边界的判断参数，所述第二维值为能够影响对应字符间隔为词边界的判断参数；通过所述第一维值和所述第二维值确定对应字符间隔是否为词边界。

优选地，所述将所述特征向量组中每个特征向量映射为一个二维向量，包括：

获取权重集合，所述权重集合包括第一组权重参数和第二组权重参数；

利用所述第一组权重参数与所述特征向量进行加权计算，得到所述第一维值；

利用所述第二组权重参数与所述特征向量进行加权计算，得到所述第二维值；

将所述第一维值和所述第二维值组成所述二维向量。

优选地，所述权重集合为权重矩阵；其中，

所述第一组权重参数为所述权重矩阵的第一列；所述第二组权重参数为所述权重矩阵的第二列；或者，

所述第一组权重参数为所述权重矩阵的第一行；所述第二组权重参数为所述权重矩阵的第二行。

优选地，通过以下公式计算得到所述二维向量：

a_i＝h_iW+b

其中，a_i表示待处理文本序列中第i个字符对应的二维向量，W表示权重矩阵，b表示偏置值，h_i表示待处理文本序列中第i个字符对应的特征向量；或

a_i＝Wh_i+b

其中，a_i表示待处理文本序列中第i个字符对应的二维向量，W表示权重矩阵，b表示偏置值，h_i表示待处理文本序列中第i个字符对应的特征向量。

优选地，通过所述第一维值和所述第二维值确定对应字符间隔是否为词边界，包括：