[发明专利]基于连通图的因子筛选方法、装置、设备及介质

说明书

本发明涉及人工智能领域，提供一种基于连通图的因子筛选方法、装置、设备及介质，能够结合贪婪遍历算法及连通图进行因子的筛选，有效剔除相关性较强的重复因子，避免由于因子的冗余造成数据的冗余，并且，最终得到的目标因子也具有较强的可解释性。本发明还涉及区块链技术，目标因子可存储于区块链。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于连通图的因子筛选方法、装置、设备及介质。

背景技术

在人工智能领域，为了提高模型的准确率及效率，在将各个因子输入模型进行运算前，首先要对因子进行筛选。

目前，在处理多个高相似性的因子时，主要采用以下两种方式：

（1）人工筛选因子的方式。

采用人工对因子进行两两相关性判断，再挑选出对模型的预测能力高的因子。由于这种方式主要依赖于人工判断，并且是进行一对一的判定，容易产生错误或者遗漏现象，在进行模型的测试等迭代任务时，也比较繁琐。

（2）基于模型自动筛选因子的方式。

目前主要采用随机森林模型进行因子的筛选，但是随机森林模型无法剔除相关性强的因子，且可解释性较弱。

发明内容

鉴于以上内容，有必要提供一种基于连通图的因子筛选方法、装置、设备及介质，能够有效剔除相关性较强的重复因子，避免由于因子的冗余造成数据的冗余，并且，最终得到的目标因子也具有较强的可解释性。

一种基于连通图的因子筛选方法，所述基于连通图的因子筛选方法包括：

响应于因子筛选指令，根据所述因子筛选指令获取至少一个因子及预测目标；

计算所述至少一个因子中每两个因子间的相关系数；

获取预设阈值，根据所述预设阈值及每两个因子间的相关系数对所述至少一个因子进行两两组合，得到至少一个因子组合，并连接所述至少一个因子组合中的两个因子，得到至少一个边；

基于贪婪遍历算法，根据所述至少一个边构建至少一个子图；

整合所述至少一个子图，得到连通图；

计算所述连通图中每个因子相对于所述预测目标的信息价值，并根据所述信息价值从每个子图中筛选目标因子。

根据本发明优选实施例，采用下述公式计算所述至少一个因子中每两个因子间的相关系数：

其中，为因子及因子之间的相关系数，为因子及因子的协方差，为因子的方差，为因子的方差，i、j为正整数。

根据本发明优选实施例，所述基于贪婪遍历算法，根据所述至少一个边构建至少一个子图包括：

检测每个边对应的两个因子中每个因子在所述至少一个边中的出现次数；

当检测到有边对应的两个因子在所述至少一个边中的出现次数都为1时，不执行遍历，将检测到的边确定为单边；或者

当检测到有边对应的两个因子在所述至少一个边中的出现次数不都为1时，将检测到的边确定为目标边，并根据所述目标边在所述至少一个边中进行遍历，根据遍历到的边对所述目标边进行扩展连接，得到完全图；

将所述单边及所述完全图确定为所述至少一个子图。

根据本发明优选实施例，所述计算所述连通图中每个因子相对于所述预测目标的信息价值，并根据所述信息价值从每个子图中筛选目标因子包括：

获取每个因子相对于所述预测目标的响应比例、未响应比例及证据权重；