[发明专利]一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法

权利要求书

1.一种基于字符与自注意力机制的层次文本分类方法，其特征在于，包括以下步骤：

步骤一，构建字符表，设计一个大小为m的字符表；

步骤二，对字符表中的字符使用one-hot编码，用于将类别变量转化为机器学习算法，经过one-hot编码后，字符表中的每一个字符都转化为维度为m的one-hot向量；外加一个维度为m的one-hot全零向量表示空白字符，用于处理不在该字符表中的字符；

步骤三，选择原始数据集，对原始数据集进行预处理，获得预处理后的数据集；进行预处理的所述原始数据集来自AG's news新闻分类数据集；

步骤四，对数据集中的文本字符进行编码，建立字符向量，对字符向量使用第一层自注意力机制得到字符自注意力机制向量，新闻分类数据集中每个新闻数据包括不同的单词，每个单词包括不同的字符，每个字符具有长度；将每个新闻数据的单词都转化成固定长度为l₀的矢量形式，忽略掉长度超过l₀的任何字符，其中每个字符是m维的向量，最终将每个新闻数据的单词表示为m*l₀的字符矩阵，然后将字符矩阵作为输入序列，传入自注意力机制中，设每个新闻数据的单词对应一个矩阵X＝(x₁,x₂,…x_t)，其中x_i表示单词的第i个字符的字符向量，则将每个单词对应的字符矩阵X与每个字符x_t进行比较，最后算出每个字符的自注意力机制向量y_t表示如下：

y_t＝f(x_t,X,X)；合并字符自注意力机制向量的上下文信息到单词向量中；

步骤五，根据步骤四中得到的单词向量，对单词向量使用第二层自注意力机制得到单词自注意力机制向量，合并单词自注意力机制向量上下文信息得到句子向量；

步骤六，将所述句子向量输入到softmax分类器，通过softmax分类器输出文本分类结果。

2.根据权利要求1所述的一种基于字符与自注意力机制的层次文本分类方法，其特征在于：步骤一中，所述字符表包含“abcdefghijklmnopqrstuvwxyz0123456789-,；.！？:'\\|_@#$％^*～`+-＝()[]{}”，和一个用于处理不在该字符表中的空白字符UK。

3.根据权利要求2所述的一种基于字符与自注意力机制的层次文本分类方法，其特征在于，所述m为70。

4.根据权利要求3所述的一种基于字符与自注意力机制的层次文本分类方法，其特征在于，步骤三中，所述对原始数据集进行预处理的方式为去除无意义的词或无用的标点符号或无用的数字。