[发明专利]一种基于强化学习的硬件设计验证系统及方法

说明书

本发明涉及强化学习技术领域和芯片验证技术领域，尤其涉及一种基于强化学习的硬件设计验证系统及方法；其核心在于使用强化学习算法自动生成硬件设计验证平台激励使得覆盖率达到100％，适用于行覆盖率、条件覆盖率、状态机覆盖率和功能覆盖率的收敛。本发明使用强化学习生成验证平台激励的方式，相比于手动构造激励，由于自动生成激励从而极大地缩短了验证工作周期，大幅度降低了人力成本；并且由于生成激励的数量和种类更加丰富，也使得验证的完备性有了很大提高；由此验证工作人员可以投入更多的精力在参考模型的完善以及新项目上，大大加快了芯片验证的流程。

技术领域

本发明涉及强化学习技术领域和芯片验证技术领域，尤其涉及一种基于强化学习的硬件设计验证系统及方法。

背景技术

机器学习(Machine Learning,ML)是一门多领域交叉学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

强化学习(Reinforcement Learning，RL)又称为再励学习、评价学习，是一种重要的机器学习算法，在智能控制机器人及分析预测等领域有着许多应用，AlphaGo就是采用的强化学习算法。强化学习是智能体(Agent)以“试错”的方式进行学习，通过于环境进行交互获得奖赏知道行为，目标是使得智能体获得最大的奖赏。强化学习中由环境提供的强化信号是对产生动作的好坏作出评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinforceme nt learning system)如何去产生正确的动作；由于外部环境提供的信息很少，RLS必须依靠自己的经历进行学习。通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。

验证是确保设计和预定的设计期望一致的过程，随着芯片设计的规模和复杂度不断提高，验证的工作也日益复杂和重要，验证周期已经达到甚至超过整个芯片设计周期的70％。硬件设计验证平台可通过verilog、systemverilog或systemC搭建，是针对硬件设计测试构造的验证环境，验证工程师可以构建具有标准化层次结构和接口的功能验证环境。随着待测设计的复杂性的增加，提升验证覆盖率的难度也越来越大，手动添加测试用例的方法耗时低效。

经过对于硬件设计验证以及强化学习算法的研究发现，可以将强化学习算法应用到验证平台中，以覆盖率作为奖励，通过对于激励产生的训练，可以实现验证平台激励自产生。

发明内容

本发明的目的在于针对现有硬件设计验证平台的激励产生需要完全依赖于手动产生的问题，提出了一种基于强化学习的硬件设计验证系统及方法；本发明将强化学习与硬件设计验证相结合，将原本需要手动生成的验证平台激励通过强化学习生成，从而极大地减少了人力成本、缩短了验证收敛的时间、大幅度提升了验证的可靠性和完备性。

为实现上述目的，本发明采用的技术方案如下：

一种基于强化学习的硬件设计验证系统，根据覆盖率反馈自动生成激励，不断提高覆盖率直至覆盖率达到100％，包括：

一个待测设计模块，作为验证系统的测试对象；

一个智能体，由动作控制模块、事务和激励序列三部分构成，其中，动作控制模块用于构建全局动作集合，并完成智能体的动作控制，控制激励序列产生对应激励发送给硬件设计验证平台和待测设计模块；

一个硬件设计验证平台，用于接收智能体输入的激励，并将其按时序要求分别输入待测设计模型和参考模型，并且会监测待测设计模块的输入、输出，比对仿真结果，生成覆盖率并反馈给奖励模块；

一个奖励模块，用于设定回报机制，以覆盖率为强化学习的奖励回报，发送至全局状态模型；

一个全局状态模型，根据待测设计模块的覆盖率构建全局状态集合，并将奖励回报发送至状态控制模块；