[发明专利]一种基于FPGA实现的决策森林系统及决策森林推理方法

说明书

本发明公开了一种基于FPGA实现的决策森林系统及决策森林推理方法，属于机器学习领域。本发明基于路径回溯模块与分类模块的架构在FPGA上实现决策树，有利于将训练好的决策树MATLAB代码自动转换成Verilog代码，而不需要人为在EDA工具中手动实现大量决策树。采用自顶向下的设计结构，将每棵决策树都作为一个子模块并行运行，快速部署的同时保证精度，且消耗的硬件资源更少。基于流水线技术在FPGA上实现多数投票法，在顶层模块中调用决策树子模块并对子模块的结果进行统一处理，从而提高推理速度。通过异步FIFO模块跨时钟域传输数据，使其应用更广泛。本发明所提供的推理实现方法原则上适用于通过任意训练算法生成的决策树。

技术领域

本发明属于机器学习技术领域，更具体地，涉及一种基于FPGA实现的决策森林系统及决策森林推理方法。

背景技术

集成学习是机器学习中的一种重要的方法。集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。整个集成学习不依赖任何单一模型，而是集体进行预测。决策森林是并行式集成学习方法最著名的代表之一，其多样性是通过使用不同的训练数据子集来获得的。决策森林是以决策树为基学习器和以多数投票法为集成方式所构成的一种集成学习方法，也可进一步在决策树的训练过程中引入随机属性选择，以增强泛化性能。

尽管决策森林在很多现实任务中都展现出强大的性能，但是它的缺点妨碍了决策森林的广泛应用，特别是基于硬件场景的应用。为了生成未标记数据实例的分类，在获得最终分类之前，需要按照每个模型对该实例进行分类。因此，对于推理速度是主要问题的一些应用(例如挖掘数据流)，分类集成可能无法及时产生。

决策树作为集成学习中的基学习器，利用树状结构进行判定并决策，可以是分类树也可以是回归树。决策树的训练过程中需要对结点进行最优属性划分，有很多常见的最优属性划分策略，比如基于信息增益、基尼系数等等。现有技术中公开了多种决策森林训练过程所使用的算法，但是，其在FPGA中推理的实现方法还未成熟，有待进一步完善。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于FPGA实现的决策森林系统及决策森林推理方法，其目的在于在保证精度的前提下极大地提高决策森林在硬件部署中的推理速度，解决了决策森林对性能的需求，同时其跨时钟域的设计使得决策森林及其相似技术可以得到更广泛的实际应用。

为实现上述目的，按照本发明的第一方面，提供了一种基于FPGA实现的决策森林系统，该系统包括：

基于FPGA的多个决策树子系统、异步FIFO模块和基于FPGA的多数投票法子系统；

各个决策树子系统之间相互独立且并行运行，每个决策树子系统包含：第一时钟控制器、路径回溯模块和分类模块；其中，

所述第一时钟控制器为同步时钟，用于控制路径回溯模块和分类模块；

所述路径回溯模块用于获取已训练的决策树中所有从叶节点到根节点的回溯路径，并得到待分类数据在该决策树中的分类路径；

所述分类模块用于根据所述路径回溯模块输出的分类路径，得到待分类数据在该决策树中的分类结果，并将分类结果传递给基于FPGA的多数投票法子系统；

所述异步FIFO模块用于对多个决策树子系统和多数投票法子系统之间的跨时钟域数据传输；

所述多数投票法子系统包含：第二时钟控制器、计数模块、类别数量比较器及投票结果输出模块；其中，

所述第二时钟控制器为同步时钟，用于控制计数模块、类别数量比较器及投票结果输出模块；

所述计数模块用于对各个分类模块得到的分类结果，按照类别进行计数；

所述类别数量比较器用于从计数模块得到的计数结果中找出数量最大值；