[发明专利]基于特征编码的文本特征提取方法、系统、装置

说明书

本发明属于信息分类领域，具体涉及了一种基于特征编码的文本特征提取方法、系统、装置，旨在解决文本特征提取中运算复杂度高、分类效率和精度低的问题。本发明方法包括：对获取的文本预处理，获得词候选特征序列；基于词候选特征序列，生成多个二进制编码；采用基因遗传算法筛选二进制编码，获得最优二进制编码；解码最优二进制编码获得最优词特征序列并输出。本发明将一系列候选特征转化为易处理的编码序列，并使用基因遗传算法的自动筛选功能，对特征进行最大化的全局最优挑选，能够有效地筛选出最小有效特征集。

技术领域

本发明属于信息分类领域，具体涉及了一种基于特征编码的文本特征提取方法、系统、装置。

背景技术

随着互联网技术的飞速发展与普及，面对着日益增长的海量数据，如何充分有效的利用已经成为各大互联网公司和相关科研机构的当务之急。在这些数据当中，文本类的数据又是数量最为庞大的一类。在对文本数据的使用中，分类占据了半壁江山，其指代的是在给定的分类体系下，根据文本内容自动确定文本类别的过程。现如今的文本分类有着极为广泛的应用场景，例如，对新闻网站中包含的大量报道文章，基于文章内容，将这些文章按题材进行自动分类；对电子商务网站中，用户交易行为后对商品的做出的评价进行分类；对电子邮箱频繁接收到的垃圾广告信息，通过文本分类技术从众多的邮件中识别垃圾邮件并过滤；对媒体每日收到的大量投稿，依靠文本分类技术对文章进行自动审核，从而实现对投稿中的垃圾广告、涉黄、暴力等违规内容的标记。

在20世纪90年代以前，占主导地位的文本分类方法一直是启发式方法：借助专业人员的帮助，为每个类别定义大量的推理规则，如果一篇文档能满足这些推理规则，则可以判定属于该类别。但是，这种方法存在明显的缺点：分类的质量很大程度上依赖于规则的好坏；需要大量的专业人员进行规则的制定；不具备可推广性，不同的领域需要构建完全不同的分类系统，造成开发资源和资金资源的巨大浪费。

现今流行的机器学习技术能很好地解决上述问题。机器学习以统计理论为基础，利用算法让机器具有类似人类般的自动“学习”能力，即对已知的训练数据做统计分析从而获得规律，再运用规律对未知数据做预测分析。机器学习方法运用在文本分类上的基本过程为：标注，利用人工对一批文档进行了准确分类，以作为训练集(进行机器学习的材料)；训练，计算机从这些文档中挖掘出一些能够有效分类的规则，生成分类器；分类，将生成的分类器应用在有待分类的文档集合中，获取文档的分类结果。

特征抽取是使用机器学习做文本分类时的重要一环。目前大多数中文文本分类系统都采用词作为特征项，称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算。如果把所有的词都作为特征项，那么特征向量的维数将过高，会对分类系统的运算性能造成极大的压力，导致文本分类的时效性降低。因而，寻求一种有效的特征降维方法，来降低运算复杂度、提高分类的效率和精度，是目前这个领域迫切需要的。

发明内容

为了解决现有技术中的上述问题，即在文本特征提取中运算复杂度高、分类效率和精度低的问题，本发明提供了一种基于特征编码的文本特征提取方法，包括：

步骤S10，获取输入文本的词候选特征序列；

步骤S20，基于所述词候选特征序列，生成M个二进制编码，M为正整数；

步骤S30，对所述M个二进制编码，采用基因遗传算法筛选，获得最优二进制编码；

步骤S40，将所述最优二进制编码解码，获得对应的最优词特征序列作为提取的文本特征并输出。

在一些优选的实施例中，步骤S10中“获取输入文本的词候选特征序列”，其步骤为：

步骤S11，采用文本分词算法将输入的文本划分为词，构成文本词集；

步骤S12，对所述文本词集中每一个词进行权重计算，获得文本词集对应的权重；