[发明专利]文件分类方法、装置、计算机设备及计算机可读介质

说明书

本发明实施例公开了一种文件分类方法、装置、计算机设备及计算机可读介质，其中文件分类方法,包括：获取待分类文件的文本信息，对文本信息进行预处理，确定至少一个特征词汇；确定各特征词汇在各文件类型中的统计数据；基于费舍尔分类器和统计数据，确定待分类文件属于各文件类型的概率，根据各文件类型的概率确定待分类文件的目标文件类型；若待分类文件属于目标文件类型的概率大于第一预设阈值，则根据待分类文件更新目标文件类型的样本集。本发明实施例提供的一种文件分类方法、装置、计算机设备及计算机可读介质，采用费舍尔方法对文件进行分类，并根据分类结果动态更新样本集，提高了文件分类准确率以及分类效率。

技术领域

本发明实施例涉及文件分类技术，尤其涉及一种文件分类方法、装置、计算机设备及计算机可读介质。

背景技术

随着互联网时代、大数据信息时代到来，人们每天都要通过互联网通信接收大量信息，其中，电子邮件已成为互联网通信的重要手段。然而，大量垃圾邮件在互联网上的传播，给用户查看阅读所需邮件带来了极大的困扰。

基于文件内容的文件分类方法，可以应用于垃圾邮件分类中去。目前，贝叶斯方法是基于文件内容的文件分类方法之一。贝叶斯方法基于统计学的概率计算方法，计算待分类文件分别属于每个类别的概率，并从中选择概率最大的类别作为该文件的类别。

采用该方法前提条件为，假设文件中的每个特征概率是彼此独立的，此前提条件一般不能满足。并且，采用该方法所计算的概率值不具有归一性，难以设置文件类型的分类阈值，影响文件分类准确率。此外，贝叶斯方法首先需要通过文件样本训练分类器，然后根据该分类器对待分类文件进行分类。然而，贝叶斯方法分类器一旦完成就无法更改，难以适应文件的动态变化，影响文件分类效率。

发明内容

有鉴于此，本发明实施例提供了一种文件分类方法、装置、计算机设备及计算机可读介质，采用费舍尔方法对文件进行分类，并根据分类结果动态更新样本集，提高了文件分类准确率以及分类效率。

第一方面，本发明实施例提供了一种文件分类方法，包括：

获取待分类文件的文本信息，对所述文本信息进行预处理，确定至少一个特征词汇，其中，预处理包括对所述文本信息进行去重处理、分词处理和错误修正处理；

确定每一个特征词汇在各文件类型中的统计数据，所述统计数据包括所述特征词汇在各文件类型对应样本集的词频和所述对应样本集的样本数；

基于费舍尔分类器和所述统计数据，确定所述待分类文件属于各文件类型的概率，根据各文件类型的概率确定所述待分类文件的目标文件类型；

若待分类文件属于目标文件类型的概率大于第一预设阈值，则根据所述待分类文件更新所述目标文件类型的样本集。

第二方面，本发明实施例提供了一种文件分类装置，包括：

文本信息获取模块，用于获取待分类文件的文本信息；

特征词汇确定模块，配置为与所述文本信息获取模块相连，用于对所述文本信息进行预处理，确定至少一个特征词汇，其中，预处理包括对所述文本信息进行去重处理、分词处理和错误修正处理；用于确定每一个特征词汇在各文件类型中的统计数据并发送至所述文本信息获取模块，所述统计数据包括所述特征词汇在各文件类型对应样本集的词频和所述对应样本集的样本数；

文件类型确定模块，配置为与所述文本信息获取模块相连，用以基于所述统计数据确定所述待分类文件属于各文件类型的概率,根据各文件类型的概率确定所述待分类文件的目标文件类型，并发送至所述文本信息获取模块；

样本集更新模块，配置为与所述文本信息获取模块以及所述特征词汇确定模块相连，用于若待分类文件属于目标文件类型的概率大于第一预设阈值，则根据所述待分类文件更新所述目标文件类型的样本集。