[发明专利]信息过滤系统、信息过滤方法以及信息过滤程序

说明书

技术领域

本发明涉及例如对输入文档进行分类的信息过滤系统、信息过滤方法以及信息过滤程序。

背景技术

信息过滤是指，通过是否与用户事先设定的要求(过滤条件)符合，来自动地挑选信息的信息处理。在信息过滤中，一般采用如下方法：为了提高过滤的精度，使用通过机械学习进行的文档的自动分类技术，通过用户指定的反馈来追加或者变更过滤条件(专利文献1)。将其称为学习型过滤器。

进而，作为用于提高过滤的精度的方法，还有组合了具有不同的过滤条件的多个学习型过滤器的过滤方法(专利文献2)。在该方法中，多个过滤器的输出(对过滤条件的适应性)根据用户的指定而合成，成为最终输出。

专利文献1：日本特开平9-288683号公报

专利文献2：日本特开2001-229164号公报

发明内容

但是，在这样的学习型过滤器中，存在在学习量少的初始状态下过滤精度较低这样的课题。为了解决该课题，例如，在系统的运用前准备充分的量的学习样品数据，直到得到充分的精度为止系统进行学习即可。但是，在学习样品数据的制作中需要通过人工识别是否与要求(过滤条件)符合。因此，在实际的系统中难以准备充分的量的学习样品数据。

另外，在由于环境变化(例如，企业内的组织改变)等，而用户的要求、过滤对象的数据内容在短时间内大幅变化这样的情况下，在该变化时过滤精度临时大幅降低。而且，存在如下课题：在通过用户指定的反馈而使学习型过滤器追随该变化的情况下，为了使过滤精度返回到原来而需要时间。

本发明是为了解决例如上述那样的课题而完成的，其目的在于提供一种信息过滤系统，即使在学习量少的初始状态时或者用户要求、或对象数据内容大幅变化时，也可以确保一定水平的过滤精度。

本发明提供一种信息过滤系统，其特征在于，具备：

第1过滤器部，从输入设备输入属于多个种类中的至少任意一个种类的文档数据，使用CPU(Central Processing Unit，中央处理单元)来执行确定所输入的上述文档数据所属的种类的规定的分类处理，将输入的上述文档数据所属的种类确定为第1分类信息；

第2过滤器部，从输入设备输入上述文档数据，使用CPU来执行与上述第1过滤器部的上述分类处理不同的规定的分类处理，将输入的上述文档数据所属的种类确定为第2分类信息；

第1正确答案比较部，使用CPU，对将预先确定了所属的种类的多个学习文档数据分别作为上述文档数据而由上述第1过滤器部确定出的上述多个学习文档数据的上述第1分类信息、与表示预先确定的上述所属的种类的上述多个学习文档数据的正确答案信息进行比较，根据比较结果来生成表示上述第1分类信息是否与上述正确答案信息一致的上述多个学习文档数据的第1学习结果信息，将生成的上述多个学习文档数据的上述第1学习结果信息存储在存储设备中；

第2正确答案比较部，使用CPU，对将上述多个学习文档数据分别作为上述文档数据而由上述第2过滤器部确定出的上述多个学习文档数据的上述第2分类信息、与上述多个学习文档数据的上述正确答案信息进行比较，根据比较结果来生成表示上述第2分类信息是否与上述正确答案信息一致的上述多个学习文档数据的第2学习结果信息，将生成的上述多个学习文档数据的上述第2学习结果信息存储在存储设备中；

错误率计算部，使用CPU，根据上述第1正确答案比较部生成的上述多个上述学习文档数据的上述第1学习结果信息，计算表示上述第1分类信息与上述正确答案信息不一致的比例的第1错误率，并且使用CPU，根据上述第2正确答案比较部生成的上述多个上述学习文档数据的上述第2学习结果信息，计算表示上述第2分类信息与上述正确答案信息不一致的比例的第2错误率；以及

结果输出部，使用CPU，根据将分类为特定的种类的对象即分类对象文档数据作为上述文档数据而由上述第1过滤器部确定出的上述第1分类信息、将上述分类对象文档数据作为上述文档数据而由上述第2过滤器部确定出的上述第2分类信息、上述错误率计算部计算出的上述第1错误率、以及上述错误率计算部计算出的上述第2错误率，确定上述分类对象文档数据所属的种类，将确定出的种类作为分类结果而输出到输出设备。

上述第1过滤器部是具备如下部件的学习型过滤器部：

学习部，从输入设备输入多组上述学习文档数据与上述正确答案信息的组，根据上述多组使用CPU来执行将属于各种类的各学习文档数据中通用的统计信息作为学习数据而生成的统计处理，将通过上述统计处理生成的上述学习数据存储在存储设备中；以及