[发明专利]一种基于神经网络和模糊推理的中文分词方法、系统及介质

说明书

本发明请求保护一种基于神经网络和模糊推理的中文分词方法、系统及介质，包括：101对语料库进行预处理操作；102训练中文词向量；103建立BP神经网络学习模型，进行初步数据预测；104将预测产生的模糊词组，使用《知网HowNet》得到模糊词之间的关系；105基于模糊词关系表示，采用模糊推理计算是否需要分词；106通过建立BP‑模糊推理‑交叉验证模型，对输入的语句进行分词预测。本发明主要是通过公开语料库，建立机器学习模型，再对模糊词进行模糊推理计算，从而能够对输入的文本语句进行分词预测，切实结合当下的技术发展需求。

技术领域

本发明属于机器学习、神经网络、人工智能技术领域，自然语言处理领域，尤其是自然语言处理领域的中文分词方法。

背景技术

当今社会计算机的应用日益广泛，己经渗透到各种传统行业；实现人与计算机之间高效和准确的信息交互，是当前计算机工作者的重要任务。据统计，在信息领域中80％以上的信息是以语言文字为载体的。这些语言信息的自动输入和输出、校对、分类和文摘、信息的检索和提取、语言翻译等技术都是国民经济信息化的重要基础。

自然语言处理是一门语言学和计算机科学的交叉学科，着重处理人类语言的可计算的特性。它属于认知科学，并和人工智能的一些领域有一些交迭。现在的计算机不懂人类的语言，而人在理解计算机的语言方面也有困难，因为计算机的语言并不符合人的思考方式。

近年来，自动分词己经引起多方面的关注，成为中文信息处理的一个前沿课题。中文自动分词研究是中文信息处理技术的基础工程，具有以下重要意义：(1)自动分词是语言学研究和中文信息处理应用进行资源共享的必要手段；(2)自动分词是对汉语进行定量分析的基础；(3)词是语法功能的载体，自动分词是句法分析的基础；(4)词是语义功能的载体，自动分词是语义研究的基础；(5)―以词定字”和―以词定音”等方法是进行文本校对、简繁转换、语音合成等的主要手段。中文自动分词是中文信息处理的一项重要的基础性工作，许多中文信息处理项目中都涉及到分词问题，如机器翻译、中文文献、自动文摘、自动分类、中文文献库。，现有的中文分词可以运用BP神经网络实现中文分词，但是精确度不够高，BP神经网络结合模糊推理来实现提高对中文分词的精确度，是模糊数学领域在NLP(自然语言处理)的一次创新的结合。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种训练速度快，计算量小，预测速度快、提高精度的基于神经网络和模糊推理的中文分词方法。本发明的技术方案如下：

一种基于神经网络和模糊推理的中文分词方法，用于计算机自然语言处理，其包括以下步骤：

101、计算机对语料库进行包括划分训练数据集、验证数据集、整理语料库格式、读取测试数据集、验证数据集在内的预处理操作；

102、计算机读取语料库中的训练集和测试集，并训练文本语料库(icwb2-data)得到中文词向量，将训练集和验证集中所有的中文词都转换为词向量；

103、计算机建立BP反向传播神经网络学习模型，将步骤102训练之后得到的学习结果对未分词的语句进行初步分词预测，得到模糊词组；

104、计算机将预测产生的模糊词组，使用《知网HowNet》得到模糊词之间的关系；

105、计算机基于模糊词关系表示，采用模糊推理计算是否需要分词；

106、通过建立BP-模糊推理-交叉验证模型，计算机对输入的语句进行分词预测。

进一步的，所述步骤101对语料库进行预处理操作，主要操作如下：

1)将icwb2-data语料库中，pku_training.txt作为训练集，pku_test.txt作为验证集