[发明专利]一种基于NLP的短文本数据加工的方法

权利要求书

1.一种基于NLP的短文本数据加工的方法，其特征在于，所述方法包括步骤：

获取短文本数据、jieba分词、stopwords去停用词、获取词袋、制作语料、TF-IDF处理、计算余弦距离，根据计算的余弦距离对短文数据进行标准化；

所述获取短文本数据将标题、描述、备注等表单数据，通过DataX工具将业务数据库中的短文本数据同步到本地TXT文件；

所述步骤jieba分词将同步到本地TXT文件中的短文本数据数据，以行为单位，通过jieba分词工具进行分词；

所述步骤stopwords去停用词将分完词的短文本数据通过NLTK工具删除停用词；

所述步骤获取词袋通过使用gensim库为语料库中出现的所有单词分配一个唯一的整数id；

所述步骤制作语料通过使用gensim库中的word2vec工具计算每个不同单词的出现次数，将单词转换为整数单词id，并将结果作为稀疏向量返回；

所述步骤TF-IDF处理将制作语料作为Tfidf模型的输入，进行模型训练；

所述步骤计算余弦距离通过计算两个向量的夹角余弦值来评估相似度，余弦相似度将向量根据坐标值，绘制到向量空间中，假设向量a、b的坐标分别为(x1,y1)、(x2,y2) ,则对应的余弦距离为：

设向量 A = (A1,A2,...,An)，B = (B1,B2,...,Bn) ，推广到多维:

夹角越小，余弦值越接近于1则越相似；余弦距离在0和1之间且越接近1两者越相似。

2.如权利要求1所述的一种基于NLP的短文本数据加工的方法，其特征在于，所述根据计算的余弦距离对短文数据进行标准化根据计算出余弦距离，当余弦距离大于0.8时，用标准的短文本数据进行替换，通过上述方式将不标准的短文本数据进行标准化。