[发明专利]标点符号确定模型及确定方法

权利要求书

1.一种建立标点符号确定模型的方法，其特征在于，包括：

嵌入查找层，配置为通过预设的嵌入矩阵，将输入文本中的每个字符转换为字符嵌入向量；其中，所述输入文本中的每个字符分别对应不同的时序；

深度学习层，包括线性变化单元与遗忘门单元，其中，所述线性变化单元配置为根据当前时序对应的所述字符嵌入向量得到线性变化结果，所述遗忘门单元配置为，根据当前时序对应的所述字符嵌入向量得到遗忘门结果；

所述深度学习层配置为，至少根据所述线性变化结果与所述遗忘门结果得到当前时序对应的输出结果；所述深度学习层还配置为，对不同时序对应的多个所述字符嵌入向量进行并行处理以得到不同时序对应的多个所述输出结果，并根据多个所述输出结果输出与所述输入文本对应的第一特征向量；

条件随机场层，配置为根据所述第一特征向量确定所述输入文本的每个字符对应的符号标签，其中，所述符号标签用于指示对应字符后面的标点符号。

2.根据权利要求1所述的方法，其特征在于，所述深度学习层包括：

简单循环单元层，包括所述线性变化单元、所述遗忘门单元以及输出状态确定单元；其中，所述输出状态确定单元配置为，根据当前时序对应的所述线性变化结果与所述遗忘门结果确定当前时序对应的内部状态，并根据当前时序对应的内部状态以及上一时序对应的内部状态确定当前时序对应的输出状态；所述上一时序对应的内部状态由上一时序对应的线性变化结果与遗忘门结果确定；所述简单循环单元层还配置为，对不同时序对应的多个所述字符嵌入向量进行并行处理以得到不同时序对应的多个所述输出状态；

注意力机制层， 配置为根据当前时序对应的所述输出状态与其它时序对应的所述输出状态之间的依赖关系，确定当前时序对应的所述字符在所述输入文本中的结构权重；其中，所述结构权重用于指示所述输入文本中的各个字符与当前时序对应的所述字符的关联性大小；

所述深度学习层还配置为，根据不同时序对应的多个所述输出状态以及每个输出状态对应的所述结构权重确定不同时序对应的多个所述输出结果，并根据多个所述输出结果输出所述第一特征向量。

3.根据权利要求1或2所述的方法，其特征在于，所述线性变化单元中还包括：

投影子单元，配置为根据预设的第一投影矩阵与第二投影矩阵对当前时序对应的所述字符嵌入向量进行线性变化以得到线性变化结果；其中，所述第二投影矩阵的维度小于所述第一投影矩阵的维度。

4.一种标点符号确定方法，其特征在于，包括：

将目标文本输入根据权利要求1至3任一项所述的方法建立的标点符号确定模型；

通过所述标点符号确定模型输出所述目标文本的每个字符对应的目标符号标签，其中，所述目标符号标签用于指示对应字符后面的标点符号。

5.根据权利要求4所述的方法，其特征在于，所述通过所述标点符号确定模型输出所述目标文本的每个字符对应的目标符号标签，包括：

通过预设的嵌入矩阵，将所述目标文本中的每个目标字符转换为目标字符嵌入向量；其中，所述目标文本中的每个目标字符分别对应不同的时序；

根据当前时序对应的所述目标字符嵌入向量得到目标线性变化结果和目标遗忘门结果；

根据所述目标线性变化结果和所述目标遗忘门结果得到当前时序对应的目标输出结果；

对不同时序对应的多个所述目标字符嵌入向量进行并行处理以得到不同时序对应的多个所述目标输出结果，并根据多个所述目标输出结果输出与所述目标文本对应的第二特征向量；

根据所述第二特征向量确定所述目标文本的每个目标字符对应的目标符号标签，其中，所述目标符号标签用于指示对应目标字符后面的标点符号。

6.根据权利要求5所述的方法，其特征在于，所述通过预设的嵌入矩阵，将所述目标文本中的每个目标字符转换为目标字符嵌入向量，包括：

通过预设的嵌入矩阵，将所述目标文本转化为n*m维的目标字符嵌入向量，其中，n表示所述目标文本中的目标字符数，m表示所述目标文本中每个目标字符对应的目标字符嵌入向量的维度。