[发明专利]一种基于数据获取技术的专业字典构建方法

说明书

本发明公开了一种基于数据获取技术的专业字典构建方法，首先获取查找关键词，根据关键词构建访问链接后对访问链接进行访问，访问的页面与所述待查找关键词相对应，搜索访问页面中与专业词汇相关联的页面内容信息，判断搜索的页面内容信息是否存在与专业词汇相关联的页面内容信息，如果存在则判断该页面与专业词汇相关联，则待查找关键词与专业词汇相关联，将待查找关键词和搜索的页面内容信息合并后组成一个词条，多个词条即生成所述专业词汇的专业字典。本方法构建的专业字典具有高度专业化的词汇，能够根据构建的专业字典在查找缺陷时准确的进行分词操作，显著提高效率和准确度。

技术领域

本发明涉及文字识别技术领域，特别涉及一种基于数据获取技术的专业字典构建方法。

背景技术

电网单位在整理台账缺陷数据时，需要找出台账记录中所包含的家族缺陷。人工查找缺陷费时费力，现有技术通过使用自然语言处理技术来自动化地、精确地识别台账记录中的缺陷字段，而这其中涉及到分词技术。所述“字典”一词不是寻常所见之字典，而是在自然语言处理领域中的一种特殊词语集合。利用词典，分词操作中就可利用先验知识对文本段落进行更为准确的词语切割，获得更好的分词结果。分词，常见与中文的文本处理中，其目的在于将长句分割为以词为单位的语句块，便于计算机理解复杂的中文语言。而由于电网单位的台帐文本信息中或含有较多的专业词汇，此时常见的分词字典以及中文分词领域常用工具jieba词库自带的字典就不能很好地进行分词操作，所得结果往往词不达意或者无法返回正确的分词结果。标准字典中不具有高度专业化的词汇，比如电网单位中的一些专有名词，需要另行构建一个专业字典来支持缺陷描述文本数据的处理。

发明内容

本发明的目的旨在克服现有技术存在的不足，提供了一种基于数据获取技术的专业字典构建方法，构建的专业字典具有高度专业化的词汇，能够根据构建的专业字典在查找缺陷时准确的进行分词操作，显著提高效率和准确度。

为了解决上述技术问题本发明提供一种基于数据获取技术的专业字典构建方法，所述方法包括：

获取待查找关键词；

根据所述待查找关键词构造访问链接；

根据所述访问链接访问与所述待查找关键词对应的页面；

判断所述页面中是否存在与专业词汇相关联的页面内容信息；

如果所述页面中存在与所述专业词汇相关联的页面内容信息，获取所述页面中与专业词汇相关联的页面内容信息；

根据所述页面内容信息和所述待查找关键词生成专业字典。

优选的，所述获取待查找关键词包括：

获取字库中的常用字；

将所述字库中的常用字作为所述待查找关键词。优选的，所述爬虫技术为多线程爬虫技术。

优选的，所述字库包含多个单个字符的。

优选的，所述访问链接为包括数字字符、符号字符、汉字字符以及英文字符的字符串。

优选的，更换所述访问连接中的数字字符、符号字符、汉字字符以及英文字符中的任意字符，得到新的所述访问链接；

根据所述新的所述访问链接访问与所述待查找关键词对应的页面。

优选的，所述获取所述页面中与专业词汇相关联的页面内容信息包括：

将所述页面经由JSON格式解析，得到树状结构数据表；

遍历所述树状结构数据表，获取与所述专业词汇相关联的页面内容信息。

优选的，所述待查找关键词包括多个汉字字符；

更换所述待查找关键词中的单个或多个汉字字符，得到新的所述待查找关键词；