[发明专利]一种基于改进随机森林的知识检索优化方法

权利要求书

1.一种基于改进随机森林的知识检索优化方法，其特征在于，包括以下步骤：

步骤1：对知识库知识获取结果文档进行特征提取和空间向量表示，作为训练集；采用Bootstrap抽样方法从训练集中有放回地抽取n个样本，依此重复k次，得到k个训练数据集；据此k个训练数据集训练决策树，生成k棵随机决策树，组成随机森林以此方式操作k个训练集，生成k棵随机决策树，组成随机森林R＝{h₁,h₂,....h_k}；

步骤2：利用互信息法找出随机森林模型中相关度较高的决策树构成决策树组，只保留组内评价精度最高的决策树，获得新的决策树组H[h₁,h₂,...,h_p]；

步骤2.1：计算随机森林R＝{h₁,h₂,....h_k}中决策树之间的相关性；

随机森林中任意两个决策树h_a,h_b的互信息I(h_a,h_b)为

I(h_a,h_b)＝H(y_a)+H(y_b)-H(y_a,y_b)

其中，y_a为决策树h_a的输出信息；y_b为决策树h_b的输出信息；H(y_a)为y_a的信息熵；H(y_b)为y_b的信息熵；p(a_x)为y_a的边缘概率分布；p(b_y)为y_b的边缘概率分布；p(a_x,b_y)为y_a与y_b的联合概率分布；

步骤2.2：将所有I(h_a,h_b)大于阈值ε的决策树划分为一个决策树组；

步骤2.3：根据精度I(h_a,y)获取每组中精度最高的决策树；以I(h_a,y)表示决策树h_a与实际标签y的互信息，即决策树h_a的输出评价结果与实际评价结果之间的相关性；I(h_a,y)的值越大，决策树h_a的精度越高；在每一组决策树组中，计算得出其中I(h_a,y)值最大的决策树，并将每组选出的决策树合成一个新的决策树组H[h₁,h₂,...,h_p]；

步骤3：采用粒子群算法确定所保留的决策树的权值分布，得到完整的随机森林分类模型；

步骤3.1：初始化粒子群，给每个粒子赋予随机的初始位置和速度；所有粒子均采用实数编码，最终决策森林中，每个决策树对最终结果的影响权值，记为ω₁至ω_p；设定最大迭代次数；

步骤3.2：计算适应值，根据适应度函数，计算每个粒子的适应值；以粒子中ω₁至ω_p值作为决策树权值，生成随机森林分类模型，以该模型输出评价结果与实际评价结果之间的相关性计算作为适应度函数，相关性值作为适应值；

步骤3.3：计算个体最佳适应值；对每一个粒子，将其当前位置的适应值与其历史最佳位置对应的适应值比较；如果当前位置的适应值更高，则用当前位置更新历史最佳位置；

步骤3.4：计算群体最佳适应值；对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较；如果当前位置的适应值更高，则用当前位置更新全局最佳位置；

步骤3.5：更新粒子位置和速度；

其中，为第t次迭代时第j维中粒子i的速度；是粒子i的位置；ω为惯性权重；c₁、c₂为学习因子；粒子群第t次迭代时的个体极值点；为粒子群的全局极值点；为[0，1]区间内均匀分布的随机数；V_max是常数；

步骤3.6：判断是否满足结束条件；若未满足结束条件，则返回步骤3.2，若满足结束条件则输出每个粒子的全局最佳位置，得到权值向量W[ω₁,ω₂,...,ω_p]；

步骤4：将知识检索结果文档输入到构建的随机森林分类模型中，获取每一文档的相关度分类，实现对知识检索结果的精度排序，并排除与搜索内容相关度极低的检索结果；

步骤4.1：将需要进行优化的所有检索结果文档，进行特征提取和空间向量表示，以获取文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]；

步骤4.2：将文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]中的文档向量输入到决策树组H[h₁,h₂,...,h_p]中，获取每个文档向量Y_m根据每棵决策树的评价得分S_m[s₁,s₂,...,s_p]；

步骤4.3：对每个文档向量Y_m的评价得分S_m[s₁,s₂,...,s_p]进行加权处理，得到每个文档向量Y_m的最终得分Z_m；

Z_m＝S_m*W^T＝[s₁,s₂,...,s_p]·[ω₁,ω₂,...,ω_p]^T

步骤4.4：将所有文档向量根据最终得分Z_m值进行重新排序，将得分高的文档位置提前、得分低的文档位置推后，达到优化检索结果、提高整体评价精度的目的。