[发明专利]一种中文文本作者识别方法

说明书

本发明公开了一种中文文本作者识别方法，包括：学习方法和分类方法，学习方法的步骤包括：对作者已知的中文文本集合进行分词，构建每一个文本的动态过滤词库并进行过滤，统计每一个分词的词频、文件频率、逆向文件频率和词频‑逆向文件频率，构建文本的特征向量，基于特征向量构建机器学习分类模型。分类方法包括：对待识别的中文文本进行分词得到分词词组，构建动态过滤词库并进行过滤，得到待识别文本的特征向量，应用分类模型对待识别文本进行分类。本发明的中文文本作者识别方法，能够提高中文文本作者识别的效率和准确率。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种中文文本作者识别方法。

背景技术

每一个作者都有其写作风格和特点，而这些写作风格和特点并不是都是显式的，要确定其写作风格和特点时，需要通过阅读作者的多篇文本，会耗费大量的人力和时间。确定中文文本的作品风格和特点是自然语言处理的一种，而目前基于TF-IDF进行中文分词语料处理的自然语言处理中，多使用基本的TF-IDF算法，其中去掉停用词部分多是从固定词汇库中取得，比如地名、语气词等。这是一种静态提取停用词的方法，对于不同作者的中文文本，若都是从固定词汇库中去掉停用词，其产生的作用有限，同时，对于中文文本内容较多时，进行分词后从中去掉固定词汇库中的分词，依然会有大量的分词，如果不对分词进一步处理，在进行文本作者识别时，识别的效率和准确率就会很低。本发明通过对不同作者的不同文本动态确定过滤词库，从而动态确定分词的数量，进行中文文本作者识别时能够提高效率和准确率。

发明内容

本发明提供一种中文文本作者识别方法，以克服上述技术问题。

一种中文文本作者识别方法，包括学习方法和分类方法。

学习方法包括以下步骤：

步骤一、获取作者已知的中文文本集合，对每一个中文文本进行分词，得到分词词组集合。

步骤二、对分词词组集合中的每一个分词词组，依次执行：统计分词词组中每一个分词出现的次数和频率，构建动态过滤词库，将过滤词库中的每一个分词，都从分词词组中删除。

步骤三、使用词袋模型BOW将每一个分词词组处理成机器可以识别的结构化的机器语言，并计算每一个中文文本中的每一个分词的词频、文件频率、逆向文件频率和词频-逆向文件频率。

步骤四、构建每一个中文文本特征向量，基于特征向量分别构建机器学习分类模型。

分类方法包括以下步骤：

步骤一、输入作者待识别的中文文本，进行中文分词，得到分词词组。

步骤二、统计分词词组中每一个分词出现的次数和频率，构建动态过滤词库，将过滤词库中的每一个分词，都从分词词组中删除。

步骤三、使用词袋模型BOW将分词词组处理成机器可以识别的结构化的机器语言，并计算每一个分词的词频、文件频率、逆向文件频率、统计词频-逆向文件频率。

步骤四、构建作者待识别中文文本的特征向量，应用学习方法步骤四得到的机器学习分类模型对作者待识别中文文本进行分类得到分类结果。

优选地，构建动态过滤词库，包括停用词和出现次数低于某一阈值的分词，阈值小于分词词组中含有分词的数量。

优选地，构建动态过滤词库，包括停用词和出现次数高于某一阈值的分词，阈值小于分词词组中含有分词的数量。

优选地，构建动态过滤词库，包括停用词和出现频率低于k的分词，0k1。

优选地，构建动态过滤词库，包括停用词和出现频率高于k的分词，0k1。

本发明可以动态的确定各种中文文本中的过滤词库，提高中文文本作者分类的效率和准确率。

附图说明