[发明专利]一种实现英文文本分类的方法及相关设备

权利要求书

1.一种实现英文文本分类的方法，包括：

对英文短文本数据集中的文本进行预处理，并将所述预处理后的英文文本转换为词向量矩阵，将所述词向量矩阵作为卷积神经网络CNN模型的第一输入数据；

使用CNN模型对所述第一输入数据进行特征向量的提取和拼接，将获得的特征向量作为极速学习机ELM的第二输入数据；

使用ELM对所述第二输入数据进行分类，得到所述英文短文本数据集中的文本的准确类别。

2.根据权利要求1所述的方法，其特征在于，在使用CNN模型对所述第一输入数据进行特征向量的提取和拼接之前，该方法还包括：

使用高速路Highway神经网络对所述第一输入数据进行优化处理。

3.根据权利要求1所述的方法，其特征在于，所述对英文短文本数据集中的文本进行预处理，并将所述预处理后的英文文本转换为词向量矩阵，包括：

对所述英文短文本数据集中的文本进行预处理工作，将标点符号及不相关的符号进行剔除，使用正则表达式识别数据集中的复杂属性，将未识别的归为超出字典的情况；

若vi是句子中位置为i的k维词向量，n是语料集中最长句子的长度，l 是使用的卷积核的宽度最大值，那么所述英文短文本数据集中的文本就是一个 k*(n+l-1)矩阵，所述矩阵就是一个由词向量拼接而来的句子，即表示为，其中，是连接操作符，n+l-1为词向量个数，k为训练维度。

4.根据权利要求1所述的方法，其特征在于，所述使用CNN模型对所述第一输入数据进行特征向量的提取和拼接，包括：

使用CNN对所述第一输入数据进行特征的提取，并对特征进行最大池化输出，同时将输出的特征向量进行拼接获得新的特征向量。

5.根据权利要求4所述的方法，其特征在于，所述使用CNN对所述第一输入数据进行特征的提取，并对特征进行最大池化输出，同时将输出的特征向量进行拼接获得新的特征向量，包括：

通过结合不同的卷积窗口所提取出的特征向量表示为，其中，w是卷积核的权重,b是偏置项，f是非线性激活函数；卷积核的宽度h，训练维度k，代表该卷积窗口包含h 个词向量；

对提取的特征向量进行最大池化操作获取其最大值 A=max{a}，之后将 A 进行拼接，获得卷积结构提取的特征向量；

将最大池化后获得的特征向量进行Dropout操作，获得新的特征向量。

6.根据权利要求2所述的方法，其特征在于，所述使用高速路Highway神经网络对所述第一输入数据进行优化处理，包括：

对一个具有 L 层的传统前向神经网络，其每层网络都可对输入使用具有参数的非线性映射变换H产生输出 y，即；

对非线性变换增加两个非线性映射函数T和C，则输出为，其中，T被称为转换门，C被称为携带门。

7.根据权利要求1所述的方法，其特征在于，所述使用ELM对所述第二输入数据进行分类，得到所述英文短文本数据集中文本的准确类别，包括：

在给定训练集，最大隐层节点数与期望学习准确率e>0时，有初始化单隐层前向神经网络（SLFN）并设置初始隐层节点数其中，初始节点数为1；

利用传统的ELM方法计算隐层输出矩阵，并计算输出误差，其中，为的 Moore-Penrose 广义逆矩阵；

使用递归方法更新输出权重,使模型收敛，使用收敛后的模型对训练集进行特征提取,得到所述英文短文本数据集中文本的准确类别。

8.一种实现英文文本分类的装置，其特征在于，包括：

预处理单元，用于对英文短文本数据集中的文本进行预处理，并将所述预处理后的英文文本转换为词向量矩阵，将所述词向量矩阵作为卷积神经网络CNN模型的第一输入数据；

提取和拼接单元，用于使用CNN模型对所述第一输入数据进行特征向量的提取和拼接，将获得的特征向量作为极速学习机ELM的第二输入数据；

分类单元，用于使用ELM对所述第二输入数据进行分类，得到所述英文短文本数据集中的文本的准确类别。