[发明专利]一种企业领域分类及企业关键词筛选方法

说明书

本发明公开了一种企业领域分类及企业关键词筛选方法，该方法通过对企业领域语料库进行训练得出相关领域的特征词汇作为分类词典，然后利用这种分类词典对企业的简介文档进行行业分类，在分类之后，本方法还能从企业的简介文档中提取出能代表这个企业所从事领域的行业标签。此外，本方法能克服中文文本处理中的大多数噪声词影响，行业分类错误率低，分类效率高，综合表现性能优异。

技术领域

本发明属于中文文本处理和文本挖掘领域，尤其涉及一种企业领域分类及企业关键词筛选方法。

背景技术

在信息时代，有非常大量的信息都储存在文本当中，比如各种研究文档、企业信息文档、图书、网页文档等。近几年计算机技术突飞猛进，数据挖掘、文本信息挖掘等技术成为了信息科学研究的热点，而将一些成熟的文本挖掘技术用于生产实际也是众望所归。

在非常多的情况下，读者并没有足够的精力完整读完得到的所有的文本，所以很多文档都提供了摘要与关键词来帮助读者判断文本内容自己是否感兴趣，是否要继续读下去。在过去，文本摘要和关键词提取都是靠人力完成，但是在信息爆炸的时代这种做法显然就显得效率低下，人们自然而然得就开始寻求依靠计算机来对文本进行关键词提取与摘要筛选的技术。

企业标签指的是从一个企业的官方非结构化信息文本，如公司简介文档、电子表格、客户电子邮件、问题查询、网页等，中挖掘提取出来的描述此企业性质、所属行业、产品特点等信息的文本标签，借助这些文本标签我们可以更方便地对大量的企业进行行业分类与管理。

现有的文本关键词提取技术最大的问题是容易提取出过多的噪声词，噪声词即与文本内容不相关的词，如语气词或者形容词，过多的噪声词不仅会降低提取的标签词的质量，而且会大幅度影响程序运算效率，而本文通过改良了传统的TF-IDF算法，大幅度降低了关键词提取结果中噪声词的比例。

发明内容

发明目的：针对以上现有技术存在的问题，本发明提出一种企业领域分类及企业关键词筛选方法，该方法可以解决目前针对企业领域的文本分类技术缺乏，企业搜索引擎所提取的标签噪声词多的问题，本发明提供的方法可以对企业进行高准确率的分类，并提供了一种企业标签提取的思路，通过本发明为企业文档提取的关键词可以降低企业搜索引擎中的噪声标签，使企业搜索引擎定位更准确。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种企业领域分类及企业关键词筛选方法，该方法包括如下步骤：

(1)对企业文档语料库进行训练，建立所有企业领域的分类词典；

(2)根据步骤(1)得到的企业领域分类词典，对目标企业进行领域分类；

(3)根据步骤(2)得到的目标企业的领域分类，提取该目标企业的企业标签。

其中，步骤(1)中，建立所有企业领域的分类词典方法如下：

(1.1)对所有企业领域的训练语料库中的文档进行文本预处理，得到所有企业领域所对应的词语，并记录词语的词性；

(1.2)计算企业领域d_j词语的词频TF_ij

式(1)中，f_ij代表了词语t_i在企业领域d_j的所有文档中的出现次数,∑_jf_ij是目标企业领域d_j中所有文档的所有词语的总数；

(1.3)计算企业领域d_j词语的逆向文档频率IDF_i

其中，N是所有领域语料库中所有企业文档数目，即总语料库，DF_i代表了总语料库中包含了词语t_i的文档数目；