[发明专利]文本表征方法、装置及计算机设备

说明书

本发明实施例公开了文本表征方法、装置及计算机设备。该文本表征方法包括：对输入的句子文本进行分词，获得第一词向量矩阵和第一字向量矩阵；将第一词向量矩阵和所述第一字向量矩阵通过注意力机制动态结合，获得词信息背景矩阵和字信息背景矩阵；将第一词向量矩阵与词信息背景矩阵进行矩阵拼接，获得第二词向量矩阵，将第一字向量矩阵与字信息背景矩阵进行矩阵拼接，获得第二字向量矩阵；然后将第二词向量矩阵和第二字向量矩阵进行深层编码，获得词矩阵层和字矩阵层，进行矩阵拼接，获得句子文本的完整编码层，作为句子文本对应的表征结果。本发明的文本表征方法，实现了对句子语义信息的更加完善、准确的表达。

技术领域

本发明涉及自然语言处理领域，尤其涉及文本表征方法、装置及计算机设备。

背景技术

用自然语言与计算机进行通信，这是人们长期以来所追求的。随着深度学习技术的飞速发展，越来越多的深度学习技术被应用到自然语言处理的各个领域，多种基于深度学习的自然语言模型也被提出，模型如何更好地表示自然语言，成为了很重要的议题。

一些模型在对文本中的句子进行建模时，将分词工具得到的一个词作为句子的一个语义单元进行分析。对于汉语而言，直接用一个词作为语义进行表示，忽略了词内字间的信息。并且分词工具的中文分词结果并非完全准确，所以将词作为句子的一个语义单元进行分析并不能完整地表达句子的意思。另一些模型将单独的字作为一个语义单元进行表示，但是汉语中单独的一个字歧义性较大，并不能准确地表示当前的语境信息。还有一些模型将汉语字和词信息直接结合进行表示，但是对于一个词而言，有些字能表达整个词的语义，而有些字是不会影响这个词的语义的，同样也不能准确地表示当前语境信息。

可见，现有的自然语言模型对于词和字的结合，无法体现词对字以及字对词的重要性，无法精准、完善地对句子的语义进行表征。

发明内容

鉴于上述问题，本发明提供文本表征方法、装置及计算机设备，通过注意力机制动态结合字词信息，从而构建一个文本表征模型，更加准确地表示句子的语义信息。

第一方面，本发明的一个实施方式提供一种文本表征方法，包括：

接收输入的句子文本；

对所述句子文本进行分词操作，获得第一词向量矩阵和第一字向量矩阵；

将所述第一词向量矩阵和所述第一字向量矩阵通过注意力机制动态结合，获得词信息背景矩阵和字信息背景矩阵；

将所述第一词向量矩阵与所述词信息背景矩阵进行矩阵拼接，获得第二词向量矩阵，将所述第一字向量矩阵与所述字信息背景矩阵进行矩阵拼接，获得第二字向量矩阵；

将所述第二词向量矩阵和所述第二字向量矩阵进行深层编码，获得词矩阵层和字矩阵层；

将所述词矩阵层和所述字矩阵层进行矩阵拼接，获得所述句子文本的完整编码层，作为所述句子文本对应的表征结果。

在一种可能的实施方式中，所述对所述句子文本进行分词操作，获得第一词向量矩阵和第一字向量矩阵；

所述步骤包括：

将所述句子文本通过分词器以词为单位进行分词，获得所述句子文本的词集合，利用中文预训练所述词集合，获得所述第一词向量矩阵；

将所述句子文本通过分词器以字为单位进行分词，获得所述句子文本的字集合，随机初始化所述字集合，获得所述第一字向量矩阵。

在一种可能的实施方式中，所述将所述第一词向量矩阵和所述第一字向量矩阵通过注意力机制动态结合，获得词信息背景矩阵和字信息背景矩阵；

所述步骤包括：