[发明专利]一种面向智能问答系统的最优答案选择方法

权利要求书

1.一种面向智能问答系统的最优答案选择方法，其特征在于，包括如下步骤：

S01，将问题与候选答案去除标点符号，之后将每一个词转换成预训练的词向量，这样每个句子都表示为一个矩阵X_input；

S02，将词向量与位置编码PE相加，pos代表位置，i表示输入句子的长度，d_model表示词向量的维度，经过这样的处理，每一输入的每一维都对应这一个正弦曲线，而正弦曲线中含有了位置信息；

其中，PE_(pos,2i)和PE_(pos,2i+1)分别代表词向量中奇数位置和偶数位置的位置编码，将得到一个矩阵X_p；

S03，将矩阵X_p经过规范化,再通过滑动窗口运算，并将其结果与矩阵X_p相加，得到运算结果矩阵X_c，滑动窗口运算具体如下：当给定一个序列X＝[x₁,x₂,…,x_n]，其中x_i表示X中的第i维列向量，每一维列向量的维度为d，F表示一个宽度为m，高度与x_i维度一致的滑动窗口矩阵，F_k,j表示F中第k行第j列的值，在X中以x_i作为第一列的m个列向量的滑动窗口运算将会得到o_i，在得到o_i后，需要增加偏置向量e_i并通过增加激活函数σ得到结果z_i，对X中每一维列向量x_i执行上述运算，将得到一个n维向量z，用d个不同的滑动窗口，将每个滑动窗口得到的z作为行向量将得到矩阵X_c，其中o_i和z_i的计算方式如下：

z_i＝σ(o_i+e_i) (7)；

S04，将矩阵X_c规范化，并通过一次整体加权平均运算，得到矩阵X_at，整体加权平均运算具体为：当给定一个序列X＝[x₁,x₂,…,x_n]和一个向量表示q时，其中x_i表示X中的第i维列向量，首先需要得到x_i的权重，该权重与q相关，该权重通过函数f(x_i,q)求得，该结果用于表明二者之间的相关程度；接着使用归一化的指数函数得到p(y|X,q)，其意义在于在当前任务中哪一个x_i对于该q更加重要，最后，通过该权重获得加权平均后的

f(x_i,q)＝w^Tσ(W_xx_i+W_qq) (9)

其中，w是权重向量，W_x，W_q为权重转移矩阵，n代表序列X的列数，

通过计算每一个x_i与X的整体的关系，从而使得序列中与任务相关的重要信息能够得到加强：

sa(X)＝[wa(X,x₁),wa(X,x₂),...,wa(X,x_i)] (11)

其中，wa(X,q)代表序列X加权平均后的结果；sa(X)代表序列X整体加权平均后的结果；

S05，对于矩阵X_at，将问题的部分对矩阵行向量求平均得到问题的向量表示o_q，通过o_q中的信息进行加权平均，得到候选答案的向量表示o_a；

S06，将问题的向量o_q与候选答案的向量o_a计算余弦距离，作为该答案的得分，最后从所有候选答案中选择得分最高的作为结果，候选答案通过问题向量进行加权平均的注意力机制为：候选答案部分在S05中的输出为H_sa,那么经过注意力机制的影响后的答案的向量表示o_a可以按如下表示，

o_a＝wa(H_sa,o_q) (12)。

2.根据权利要求1所述的一种面向智能问答系统的最优答案选择方法，其特征在于，S03和S04中所述的规范化，是对矩阵的每个列向量y进行运算，μ(y)为列向量的平均值，σ(y)为列向量的标准差，g和b为防止规范化后变为标准正态分布所设置的参数，规范化norm的具体计算公式为：

其中，h代表列向量y的维度，y_i代表列向量y中的每个元素。