[发明专利]一种中文分词方法、装置、电子设备及存储介质

权利要求书

1.一种中文分词方法，其特征在于，包括如下步骤：

获取待处理文本序列，所述待处理文本序列中包括多个依次排列的字符；

提取所述待处理文本序列中每个字符对应的特征向量，得到一个特征向量组；

将所述特征向量组中每个特征向量映射为一个二维向量，其中，所述二维向量包括第一维值和第二维值，所述第一维值为能够影响对应字符间隔不为词边界的判断参数，所述第二维值为能够影响对应字符间隔为词边界的判断参数；

通过所述第一维值和所述第二维值确定对应字符间隔是否为词边界。

2.如权利要求1所述的中文分词方法，其特征在于，所述将所述特征向量组中每个特征向量映射为一个二维向量，包括：

获取权重集合，所述权重集合包括第一组权重参数和第二组权重参数；

利用所述第一组权重参数与所述特征向量进行加权计算，得到所述第一维值；

利用所述第二组权重参数与所述特征向量进行加权计算，得到所述第二维值；

将所述第一维值和所述第二维值组成所述二维向量。

3.如权利要求2所述的中文分词方法，其特征在于，所述权重集合为权重矩阵；其中，

所述第一组权重参数为所述权重矩阵的第一列；所述第二组权重参数为所述权重矩阵的第二列；或者，

所述第一组权重参数为所述权重矩阵的第一行；所述第二组权重参数为所述权重矩阵的第二行。

4.如权利要求3所述的中文分词方法，其特征在于，通过以下公式计算得到所述二维向量：

a_i＝h_iW+b

其中，a_i表示待处理文本序列中第i个字符对应的二维向量，W表示权重矩阵，b表示偏置值，h_i表示待处理文本序列中第i个字符对应的特征向量；或

a_i＝Wh_i+b

其中，a_i表示待处理文本序列中第i个字符对应的二维向量，W表示权重矩阵，b表示偏置值，h_i表示待处理文本序列中第i个字符对应的特征向量。

5.如权利要求1所述的中文分词方法，其特征在于，通过所述第一维值和所述第二维值确定对应字符间隔是否为词边界，包括：

通过所述第一维值和所述第二维值计算对应字符间隔是词边界的概率；

通过所述第一维值和所述第二维值计算对应字符间隔不是词边界的概率；

比较所述是词边界的概率和所述不是词边界的概率，计算得到所述对应字符间隔的输出结果，所述输出结果为对应字符间隔是词边界或者不是词边界。

6.如权利要求5所述的中文分词方法，其特征在于，通过以下公式计算得到所述输出结果：

其中，表示所述待处理文本序列中第i个字符对应字符间隔的输出结果，表示待处理文本序列中第i个字符所对应的二维向量的第t维值。

7.如权利要求1所述的中文分词方法，其特征在于，

所述提取所述待处理文本序列中每个字符对应的特征向量，包括：将所述待处理文本序列作为网络模型的输入，所述网络模型输出得到与所述待处理文本序列中每个字符对应的特征向量，得到一个特征向量组；

其中，所述网络模型在训练时，获取与所述待处理文本序列X＝{x₁，x₂，…，x_n}对应的标签序列Y＝{y₁，y₂，…，y_n}，所述标签序列Y＝{y₁，y₂，…，y_n}作为网络模型的输入；其中所述标签序列Y＝{y₁，y₂，…，y_n}中的任意标签向量y_n均为二维向量；

所述网络模型通过如下交叉熵损失函数实现模型收敛：

其中，n表示所述标签序列中字符的总数量，y′_i表示标签序列中第i个标签向量对应字符间隔的预测概率。