[发明专利]一种韩文新词抓取软件及其工作流程

说明书

本发明公开了一种韩文新词抓取软件及其工作流程，以软件形式呈现，包含数据库模块，所述数据库模块包括本地数据库和云端数据库，所述软件还包括输入模块和文字处理模块，所述文字处理包括单线程算法和多线程算法。本发明与现有技术相比的优点在于：本软件主要应用于迅速构建特定领域的词汇和语法(词典)数据库、电子(网络)词典、机器翻译、语言教学和研究、特定领域的词频统计、对特定词汇的网络跟踪、热点词汇跟踪等。比传统的方法获取新词汇有着绝对的优势和高效。对词典编辑工作者、教师、科研人员、语言学习者、中韩电子词典设计者、机器翻译等都有帮助。

技术领域

本发明涉及软件领域里的自然语言信息处理，具体是指一种韩文新词抓取软件及其工作流程。

背景技术

自然语言信息处理除了算法，离不开海量的数据库，编辑词典也需要不断获取和更新新的词汇，当今流行的AI智能识别和机器翻译也需要后台的数据库支撑，而新词汇层出不穷，需要不断的学习，在搜集和汇总不同行业和领域的词汇时，以往都采用了人工的方法，费时费力又低效。因此，如何利用计算机技术快捷方便地获取新的词汇，对词典编辑和数据库的建设是最基本，也是非常重要的工作。

另外，韩文有其特殊的内部曲折的语言特性。一个词汇在句子中出现时，经常会按照一定规则变形，有时还有多种不同变形，这为自然语言信息处理增加了难度。不仅要处理词汇间的逻辑关系，还要做形态分析和拆分音节方能识别词汇和语法，继而为识别更大的语言单位提供前提。因此，如何处理韩文文本并提取词汇，是阻碍利用计算机技术获取新词汇的一大难题。

发明内容

本发明要解决的技术问题是，针对以上问题提供一种能够迅速构建特定领域的词汇和语法(词典)数据库、电子(网络)词典、机器翻译、语言教学和研究、特定领域的词频统计、对特定词汇的网络跟踪、热点词汇跟踪的软件。

为解决上述技术问题，本发明提供的技术方案为：一种韩文新词抓取软件及其工作流程，以软件形式呈现，包含数据库模块，所述数据库模块包括本地数据库和云端数据库，所述软件还包括输入模块和文字处理模块，所述文字处理包括单线程算法和多线程算法。

作为优选，其工作流程为：

1)首先将韩文文本导入；

2)判断是否多线程；

3)进行惯用句型分析；

4)进行谚语俗语分析；

5)进行四字成语分析；

6)进行固定搭配(词组)分析；

7)进行复合词缀分析；

8)进行单词缀分析；

9)进行词汇分析；

10)进行新词判断；

11)提取新词；

12)录入词典；

13)完成一个过程，单线程到此结束；

14)多线程回到步骤1)进行循环。

作为优选，功能顺序为：

一、为后续算法和数据储存设计特定的的数据结构；

二、多线程处理海量文本；

三、智能识别和提取不同层次的数据；

四、做音节级别的分析和提取词汇；

五、获取并记录过程性例句；

六、利用同样的概念和算法实现对其他语种的抓词；

七、针对特定领域的词频统计；

八、基于网路爬虫的新词汇抓取；