[发明专利]一种基于NLP的短文本数据加工的方法

说明书

本发明涉及自然语言处理技术领域，尤其涉及一种基于NLP的短文本数据加工的方法。所述方法包括步骤：获取短文本数据、jieba分词、stopwords去停用词、获取词袋、制作语料、TF‑IDF处理、计算余弦距离，根据计算的余弦距离对短文数据进行标准化；解决短文本数据手工加工效率低、不精准和面对大数据加工难的问题，从而减少消耗大量的人力、物力。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于NLP的短文本数据加工的方法。

背景技术

随着网络信息技术的迅速发展和传统纸质信息逐渐向数字化信息的转型，网络中有越来越多的信息积累，尤其是短文本信息。其中大部分短文本数据是通过信息系统采集，存储到关系型数据库中。短文本数据的表现形式多样，但表达的含义相同，比如：有一个就业问卷，有一非选择项从事工种类型，现在要对该指标项进行统计分析，但该指标项采集到的数据表现形式多样，而表达含义相同，比如：餐厅服务员、餐厅服务（员）、餐厅、服务员、餐饮、餐饮服务员、拉面师、厨师、面点师、牛肉拉面、酒店服务员、炒菜师、酒店、开饭馆、饭店服务员、餐饮行业、火锅店等，这些表达的都是餐饮行业。要对该指标项进行统计分析，就要对该指标项采集到的短文本数据进行加工，这样统计的数据才够精准。而传统的加工的方法主要使用手工加工的途径，这种做法有着很多的弊处：首先，这样会耗费大量的人力、物力；其次，存在获得的成果与所要求的不一致的现象。效率低下的手工加工方式面临愈来愈多的困难，面对大数据更显得无从下手，短文本数据加工顺理成章地成为了发展方向。

随着NLP的发展，NLP是适应能力非常强的人类智慧科技，协助人类从意识领域和行为习惯上改变自身缺陷和弱点，使得NLP有效的应用短文本数据加工领域。

发明内容

本发明实施例的目的在于提出一种基于NLP的短文本数据加工的方法，旨在解决短文本数据手工加工效率低、不精准和面对大数据加工难的问题，从而减少消耗大量的人力、物力。

一种基于NLP的短文本数据加工的方法，所述方法包括步骤：

获取短文本数据、jieba分词、stopwords去停用词、获取词袋、制作语料、TF-IDF处理、计算余弦距离，根据计算的余弦距离对短文数据进行标准化；

所述获取短文本数据将标题、描述、备注等表单数据，通过DataX工具将业务数据库中的短文本数据同步到本地TXT文件；

所述步骤jieba分词将同步到本地TXT文件中的短文本数据数据，以行为单位，通过jieba分词工具进行分词；

所述步骤stopwords去停用词将分完词的短文本数据通过NLTK工具删除停用词；

所述步骤获取词袋通过使用gensim库为语料库中出现的所有单词分配一个唯一的整数id；

所述步骤制作语料通过使用gensim库中的word2vec工具计算每个不同单词的出现次数，将单词转换为整数单词id，并将结果作为稀疏向量返回；

所述步骤TF-IDF处理将制作语料作为Tfidf模型的输入，进行模型训练；

所述步骤计算余弦距离通过计算两个向量的夹角余弦值来评估相似度，余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间，假设向量a、b的坐标分别为(x1,y1)、(x2,y2) ,则对应的余弦距离为：

设向量 A = (A1,A2,...,An)，B = (B1,B2,...,Bn) ，推广到多维:

夹角越小，余弦值越接近于1，它们的方向更加吻合，则越相似；可见余弦距离在0和1之间且约接近1说明越两者越相似。