[发明专利]一种PSO-BFGS神经网络训练算法在审
| 申请号： | 201711158655.1 | 申请日： | 2017-11-20 |
| 公开（公告）号： | CN109816103A | 公开（公告）日： | 2019-05-28 |
| 发明（设计）人： | 李佳峻;刘强 | 申请（专利权）人： | 天津大学 |
| 主分类号： | G06N3/063 | 分类号： | G06N3/063;G06N3/00 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 刘子文 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种PSO‑BFGS神经网络训练算法，包括以下步骤(1)划分任务：(2)PSO算法负责全局搜索，经过迭代，产生的最优解作为BFGS的输入，之后用BFGS算法做局部精细搜索；(3)对PSO算法和BFGS拟牛顿算法进行并行度划分；(4)通过PSO算法和BFGS算法实现神经网络训练误差评估函数；(5)并行实现PSO算法；(6)并行实现BFGS拟牛顿算法；(7)并行归约。该算法是基于粒子群算法(PSO)和BFGS拟牛顿算法的神经网络训练并行算法，采用GPU作为神经网络训练计算设备，与其他优化算法相比兼具较高的收敛效率和全局搜索能力。使用OpenCL作为编程语言实现，与使用CUDA语言的实现相比具有较高的可移植性，可以在不同厂家的GPU以及FPGA上使用。 | ||
| 搜索关键词： | 神经网络训练 算法 牛顿算法 并行实现 全局搜索能力 粒子群算法 编程语言 并行算法 计算设备 精细搜索 可移植性 全局搜索 算法实现 误差评估 优化算法 并行度 最优解 迭代 归约 收敛 并行 语言 | ||
【主权项】：
1.一种PSO‑BFGS神经网络训练算法，其特征在于，包括以下步骤：(1)划分任务：所述PSO‑BFGS神经网络训练算法包括计算任务和控制任务，控制任务由CPU完成；计算任务由GPU完成，包括PSO算法、BFGS拟牛顿算法，所述PSO算法分为四个内核函数kernel，所述BFGS算法分为五个内核函数kernel；(2)以PSO算法为主体，BFGS算法作为PSO算法的辅助，所述PSO算法负责全局搜索，经过迭代，产生的最优解作为BFGS的输入，之后用BFGS算法做局部精细搜索；PSO算法和BFGS算法的目标函数为神经网络训练误差评估函数；(3)对PSO算法和BFGS拟牛顿算法进行并行度划分；(4)通过PSO算法和BFGS算法实现神经网络训练误差评估函数，在PSO算法中，通过全部的训练数据计算每个work‑item，在BFGS拟牛顿算法中，每个work‑item计算一组训练数据对应的输出神经元的值；(5)并行实现PSO算法；(6)并行实现BFGS拟牛顿算法；(7)并行归约。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学，未经天津大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711158655.1/，转载请声明来源钻瓜专利网。
