[发明专利]一种基于随机森林技术的相似文件检索方法

说明书

本发明涉及一种基于随机森林技术的相似文件检索方法，与现有技术相比解决了无法在特定领域进行有效检索的缺陷。本发明包括以下步骤：裁判文书的组织；构造案件特征树；对案件特征树进行权重训练，采用随机森林方法针对不同目标进行训练，计算出案件特征的综合权重；检索信息的获取，输入检索信息的过滤条件和查询条件，输入方式为条件选择、包含条件的文字或整篇裁判文书；计算案件相似矩阵；输出检索结果，从案件相似矩阵中获取相似案件，找到与查询条件最相似的n个案件或相似度大于s的案件，对此信息进行统计，并进行可视化展示。本发明使用基于随机森林的方法有效避免了单一决策树所带来的不稳定、过拟合的问题。

技术领域

本发明涉及数据检索技术领域，具体来说是一种基于随机森林技术的相似文件检索方法。

背景技术

文件检索技术已经广泛应用于日常生活中，给日常的信息量获取提供了很大的便利。特别是在特殊领域如司法案件的研讨中，在某些疑难案件的研究过程中，专业人员除依靠自身业务知识和经验以外，经常需要通过检索已有相似案件，来把握相关情节的处理。而现有常用检索技术(途径)包括通用搜索引擎、行业网站、指导性案例；其均存在以下问题：

(1)通用搜索引擎：如百度、雅虎等；完全没有针对司法领域定制，检索准确率和覆盖率很低；

(2)行业网站：如裁判文书网、无讼网等；与通用搜索引擎相比，检索准确率和覆盖率有较大提升，并允许多重过滤；但是检索主要基于关键字匹配，浮于表面，准确率依然较低；过滤条件为预设，不够灵活；

(3)指导性案例：由最高院发布，具有权威性、针对性；但是案件数量很少，滞后严重，并且彼此孤立，检索覆盖率很低；这种自上至下的指导模式，地区适应性也有待考量。

另外，上述检索技术均不支持语义检索，无法自由组合过滤、查询条件，不能基于结果连续检索，没有实现对检索结果的统计和直观展示。因此如何设计出一种检索更专业的检索方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中无法在特定领域进行有效检索的缺陷，提供一种基于随机森林技术的相似文件检索方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于随机森林技术的相似文件检索方法，包括以下步骤：

裁判文书的组织，将裁判文书按照案由分层分类组织；

构造案件特征树，对于指定案由，筛选其公有特征和私有特征，并按特征间逻辑关系组织成树形结构；

对案件特征树进行权重训练，采用随机森林方法针对不同目标进行训练，计算出案件特征的综合权重；所述的随机森林方法针对不同目标进行训练包括以下步骤：

选取单一案由的裁判文书N份作为原始训练集，每个文书包含M个特征；

决策树的构造，对于分类目标T，在原始训练集中随机抽取n(n<N)个文书为样本，剩余N-n个文书为袋外数据，在M个特征中随机抽取m(m<M)个特征，构造一棵决策树；

随机森林F的构造，对所有分类目标T均进行决策树的构造，构成包含K个决策树的随机森林F；

调整m的数值，重复进行决策树的构造和随机森林F的构造，直至随机森林F的准确率、召回率满足设定要求；

对准确率、召回率均满足设定要求的随机森林F的每一棵决策树，利用相应袋外数据计算袋外数据误差E0；

对此决策树的特征X处加入随机噪声，重新计算带外数据误差E1；

计算特征X的绝对权重，其计算公式如下：

X(T)＝∑(E1-E0)/K；