[发明专利]一种脑电深度神经网络的模型压缩方法在审
申请号: | 202210061482.6 | 申请日: | 2022-01-19 |
公开(公告)号: | CN114580629A | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 冯立琛;张岳琦;朱樟明;刘术彬;文奎;曹文飞 | 申请(专利权)人: | 西安电子科技大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06K9/62;G06K9/00 |
代理公司: | 西安嘉思特知识产权代理事务所(普通合伙) 61230 | 代理人: | 王萌 |
地址: | 710000 陕*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 深度 神经网络 模型 压缩 方法 | ||
本发明公开了一种脑电深度神经网络的模型压缩方法,利用纵深式卷积层权重完成目标电极通道的选择,以避免大规模的人工设计特征计算或设计专用通道选择器,充分利用脑电深度神经网络EEGNet自身的特性;同时,针对全连接层,本发明采用二叉树完成输入向量所属质心类别,大幅度地简化全连接层的计算过程,进而以目标通道选择和全连接层乘积量化相结合的方式,完成脑电深度神经网络模型的压缩。本发明提供的脑电深度神经网络的模型压缩方法能够大幅度降低EEGNet的计算复杂度,降低模型在可穿戴、嵌入式等设备上的部署难度,进而更好地支撑相关的脑机接口应用研究。
技术领域
本发明属于人工智能技术领域,具体涉及一种脑电深度神经网络的模型压缩方法。
背景技术
作为人体控制中枢,大脑活动的解密被认为是当前最具挑战的科学问题之一。通过解读EEG(Electroencephalogram,脑电)信号,脑机接口系统可以使大脑与机器直接沟通,并实现大脑对机器的控制,因此近年来得到了广泛的研究。现有脑机接口系统通常需计算人工设计的EEG信号特征,然而,EEG信号具有高度的复杂性与瞬时性,人工特征复杂易错具有一定的局限性。基于深度神经网络自学习的脑机接口系统一定程度上可避免此问题。但是,由于脑机接口广泛的应用场景与部署范式,对每种应用仍需设计特定的神经网络结构。
2018年在神经工程期刊(Journal of Neural Engineering)的论文《EEGNet:ACompact Convolutional Network for EEG-based Brain-Computer Interfaces》中,研究者提出了一种通用的紧凑型脑电深度神经网络模型EEGNet,在减少网络参数的同时提高了深度神经网络模型在不同脑机接口应用上的通用性,并在事件相关电位分类、运动想象信号识别等多种脑机接口部署范式上验证得到了较高的性能。
然而,该方法需使用较多通道的脑电信号完成准确分类,最终的全连接分类层仍需大量乘加计算,导致整体模型在部署时仍然比较消耗资源。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种脑电深度神经网络的模型压缩方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供一种脑电深度神经网络的模型压缩方法,包括:
利用多电极通道的脑电信号数据对待训练神经网络进行训练,得到第一神经网络模型;
根据所述第一神经网络模型,选取至少一个目标电极通道;
利用所述目标电极通道的脑电信号数据对所述待训练神经网络模型进行训练,得到第二神经网络模型;
当所述第二神经网络模型的分类精度与所述第一神经网络模型的分类精度之差小于等于第一预设值时,利用预设的训练数据集生成所述第二神经网络模型中全连接层的输入向量;
将各输入向量划分为多段子向量后,根据所述子向量及所述第二神经网络模型建立查找表,并生成各子向量对应的二叉树;
利用预设的测试数据集,确定所述第一神经网络模型中全连接层的第一分类精度后,针对每个测试输入,基于所述二叉树和查找表确定所述第二神经网络模型中全连接层的输出结果,并确定所述第二神经网络模型中全连接层的第二分类精度;
当第一分类精度与第二分类精度的差值小于等于第二预设值时,将所述第二神经网络模型确定为压缩后的神经网络模型。
在本发明的一个实施例中,所述根据所述第一神经网络模型,选取至少一个目标电极通道的步骤,包括:
计算所述第一神经网络模型中,纵深式卷积层对应各电极通道权重的分值,并将所述分值按照由高至低的方式进行排序;
选取分值最高的预设数量个电极通道作为目标电极通道。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安电子科技大学,未经西安电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210061482.6/2.html,转载请声明来源钻瓜专利网。