[发明专利]短文本分类方法、装置、设备及存储介质

权利要求书

1.一种短文本分类方法，其特征在于，包括：

获取预设的训练集和验证集，所述训练集和所述验证集中的每一个数据都包含预先设定的多种筛选标准语义类别和中文临床试验筛选标准的标准语句；

对所述标准语句进行预处理，去除标点符号、特殊符号，并对所述标准语句进行分词和删除停用词；

将分词出的每个词进行编码，形成二进制向量；

将所述二进制向量作为ERNIE文本语义模型的输入，得到所述ERNIE文本语义模型的输出；

将所述ERNIE文本语义模型的输出作为双向长短期记忆网络层的输入，加入注意力机制层计算每一个所述双向长短期记忆网络层输出向量的权重，得到不同特征的重要程度；

将所述权重输入到全连接层，得到归一化输出，得到与每个所述标准语句的语义类别的近似概率，将所述近似概率最大的类别作为预测类别输出。

2.根据权利要求1所述的短文本分类方法，其特征在于，所述将所述二进制向量作为ERNIE文本语义模型的输入，得到所述ERNIE文本语义模型的输出，包括：

为所述二级制向量添加用于任务分类的分隔符，形成词向量；

将所述词向量输入到第一Encoder层，并将所述第一Encoder层的输出结果作为第二Encoder层的输入，得到所述ERNIE文本语义模型的输出，其中，每层所述Encoder层都采用self-attention和feed-word network。

3.根据权利要求1所述的短文本分类方法，其特征在于，所述将所述ERNIE文本语义模型的输出作为双向长短期记忆网络层的输入，包括：

所述双向长短期记忆网络层包括前向LSTM和后向LSTM，每个所述LSTM都包括输入门、输出门以及遗忘门；

采用如下公式计算所述双向长短期记忆网络层的输出向量：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

i_t＝σ(W_i·[h_t-1，x_t])+b_i

o_t＝σ(W_o·[h_t-1，x_t])+b_o

h_t＝o_t⊙tanh(C_t)

V＝{v₁，v₂，…，v_t，…，v_T}

其中，f_t、i_t、C_t和O_t分别表示遗忘门、输入门、候选的单元状态、当前单元状态和输出门；W_f、W_i、W_o和W_c为对应的权重矩阵；b_f、b_i、b_c和b_o为对应的偏置；h_t-1和h_t分别表示上一层的隐层状态和当前隐层状态；x_t为t时刻的输入；σ为非线性激活函数；和分别表示t时刻前向LSTM和后向LSTM的隐藏层向量，V表示所述双向长短期记忆网络层包的输出向量。

4.根据权利要求1所述的短文本分类方法，其特征在于，所述加入注意力机制层计算每一个所述双向长短期记忆网络层输出向量的权重，得到不同特征的重要程度，包括：

采用如下公式每一个所述双向长短期记忆网络层输出向量的权重：

其中，Query表示查询矩阵；Key_i表示为第i个键；S_i表示为第i个词向量的权值；α_i表示为第i个词向量的权重；T_x表示为文本向量的长度；V_i表示第i个输入向量。