[发明专利]一种特征提取方法、装置和服务器

说明书

本申请公开了一种特征提取方法和装置，所述方法包括：获取目标文本；对所述目标文本进行分词处理，得到至少一个分词；按照预设的结构化识别规则，分别确定所述分词的结构化语义标签；从具有结构化语义标签的分词中，提取与预设的特征模板对应的特征数据。本申请是基于短文本的结构构造特征模板，并依此模板提取特征，从而提取出大量高质量特征的方法，取得了提高特征提取的质量以及减少垃圾特征的有益效果。

技术领域

本申请涉及数据分析领域，具体涉及一种特征提取方法、装置和服务器。

背景技术

文本挖掘就是从大量的文档中发掘隐含知识的一种方法和工具。由于文档一般是非结构化或半结构化的数据，因此在文本挖掘中面临的首要问题是如何表示文档，使得既能包含足够的信息来反应文档的特征，又能方便计算机处理。在文本挖掘中一般用词向量来表征一个文档，因此词就成为文档的特征。特征提取就是通过一种方法或手段从文本中提取特征词来表征文本，是把无结构化文本结构化并方便计算机处理的手段。

文本挖掘中传统的特征提取方法是基于n元模型(n-gram)来提取当前文档的特征词，n元模型定义如下：

当前句子S由m个词构成(w1w2w3…wm)，其中wi为句子中第i个词，

则n-gram定义为：{wiwi+1…wi+n-1|1≤i≤m-n+1}

假如当前句子定义为：ABCDE，5个词，则：

n＝1时为一元模型(unigram)，产生的gram为：A，B，C，D，E；

n＝2是为二元模型(bigram)，产生的gram为：AB，BC，CD，DE；

n＝3是为三元模型(trigram)，产生的gram为：ABC，BCD，CDE；

混合n元模型是取1到n所有gram的并集，如混合3元模型的gram为：A，B，C，D，E，AB，BC，CD，DE，ABC，BCD，CDE。

可见n元模型产生的gram是在词序列的基础上基于连续n个词实现的。但是在有些情况下句子中的词存在长距离依赖，或者人们在表达同一个描述时会忽略掉一些不重要的词汇，以通讯地址为例：

假定一个地方的标准地址为：“浙江省杭州市余杭区五常街道荆丰社区文一西路969号阿里巴巴西溪园区”

人们在使用地址时通常使用最简短的方式：“杭州市余杭区文一西路969号阿里巴巴西溪园区”，标准地址基于n元模型(n>1)绝对提取不出包含“余杭区文一西路”的gram，除非在n-gram上可以跳词，即去除gram中词必须连续的条件。

词的长距离依赖普遍存在地址中，主要原因如下：

行政区划地名(省、市、区县、乡镇街道、社区村委会等)是一个封闭的词集；行政区划地名是逐级包含，重名率极低(省市县不存在重名，区、乡镇街道、社区、村委会重名率不到10％)，因此不同行政级别的地名之间存在非常强的共现关系，即由小的行政区划地名即可推出大的行政区划地名(如：闲林街道→浙江省杭州市余杭区)；重名的道路名和POI名占比不高，当出现重名的地名时，通过限定行政区划地名，或多个地名组合，即可完成消除歧义。

通常情况下在文本分类中提取仅和少数类别相关的特征非常重要，因为该特征可区别性非常强，基于该特征的分类效果就明显好得多，传统的基于n元模型提取的特征偏少，更不能生成长距离或跳词依赖的特征。

虽然k-skip-n-gram能解决长距离依赖问题，但是它会产生出大量没有意义的特征，在大规模训练语料下，无疑增大了模型训练的复杂度，尤其是k不能特别大，一般不超过3，但对于像通讯地址之类的短文本，k超过3的高质量特征非常多。