[发明专利]基于改进Jieba分词的配电网检修文本信息提取方法

说明书

本发明涉及一种基于改进Jieba分词的配电网检修文本信息提取方法，包括以下步骤：步骤1、分析配电网巡检文本特征；步骤2、对配电网巡检文本进行清洗；步骤3、形成电力巡检文本关键词表；步骤4、利用TF‑IDF算法对步骤3所形成的电力巡检文本关键词表进行完善；步骤5、将步骤4中利用TF‑IDF算法获得完善后的电力巡检文本关键词表加载至Jieba词典，完成Jieba词典中关键词表与停用词表的更新。本发明能够根据配电网检修记录文本数据特点，利用TF‑IDF算法识别电力领域专有词汇，完善Jieba词库，进而实现配电网巡检记录的文本有效分词。

技术领域

本发明属于自然语言处理在电力系统应用技术领域，涉及配电网运维检修文本信息提取方法，尤其是一种基于改进Jieba分词的配电网检修文本信息提取方法。

背景技术

随着信息化的快速发展，电网企业各业务积累的数据量越来越大。在配电网的检修环节，积累了大量的原始数据，以文本的形式保存，包含检修记录、试验记录，巡检记录等信息，蕴含着丰富的电力信息，对指导运维检修工作有着重要的意义。文本处理是文本分析理解的基础，处理结果可以直接影响到文本分析的准确率。词是构成语句的基本单元，分析语句前需要先分词，将文本中词切分出来作为特征值。对于英文而言，分词相对比较简单，因为英文语句中词与词之间有明显的分隔符。中文语句结构复杂，词语之间没有分隔符，而且同一个词在不同的语句和不同的文本中意义不同。配电网巡检文本语句结构复杂，词语之间没有明显的分隔标记，需要进行分词来理解语句。分词是文本处理的基础，词的切分准确性影响文本处理结果，然而，由于中文文本半结构化数据的复杂性，大量的电力文本无法直接用于智能分析的学习过程。

Jieba中文分词是一款广泛使用的分词工具，基于Python的第三方分词库。由于电力领域的特定性，直接使用Jieba分词电力词汇得到的结果无法满足电力文本分词的需要，极易出现关键词被拆分或部分词汇合并的情况，影响了文本预处理的精确度。

因此，如何当前结合电力文本特点，对Jieba分词工具进行改进，实现配电网巡检记录文本的信息挖掘技术研究十分重要和迫切。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于改进Jieba分词的配电网检修文本信息提取方法，能够根据配电网检修记录文本数据特点，利用TF-IDF算法识别电力领域专有词汇，完善Jieba词库，进而实现配电网巡检记录的文本有效分词。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于改进Jieba分词的配电网检修文本信息提取方法，括以下步骤：

步骤1、分析配电网巡检文本特征；

步骤2、根据步骤1的配电网巡检文本特征，对配电网巡检文本进行清洗；

步骤3、基于所述步骤2数据清洗之后的配电网巡检文本，利用Jieba分词工具进行一次分词，统计词频并形成电力巡检文本关键词表。

步骤4、针对配电网巡检文本，利用TF-IDF算法对步骤3所形成的电力巡检文本关键词表进行完善；

步骤5、将步骤4中利用TF-IDF算法获得完善后的电力巡检文本关键词表加载至Jieba词典，完成Jieba词典中关键词表与停用词表的更新。

而且，所述步骤1的配电网巡检文本特征包括：

(1)巡检文本结构不一致；

(2)巡检文本长度有差别；

(3)巡检文本包含特殊意义字符；

(4)巡检文本部分词汇重复度高。

而且，所述步骤2的具体步骤包括：

(1)删除重复记录，减少不同人员书写习惯不同造成的差异；