[发明专利]基于深度学习的绘画情感分析方法

说明书

本发明提供的基于深度学习的绘画情感分析方法包括：构建绘画图像数据集；预先训练好卷积神经网络VGG16模型，采用迁移学习方法，使用深度学习库MXNet作为实验框架，将模型最后一个包含1000个神经元的全连接层替换为2个神经元，以输出积极的情绪和消极的情绪；采用5折交叉验证将数据集分为训练集和验证集，使用批量随机梯度下降的方式训练，批量设置为64，采用5次实验的均值作为模型的最终结果；对构建的绘画图像数据集进行扩充；基于扩充的绘画图像数据集，对卷积神经网络VGG16模型进行再次训练；利用训练好的卷积神经网络VGG16模型对绘画图像进行情感分析，有效解决了数据集不是足够大时可能出现的过拟合的问题。

技术领域

本发明属于图像情感计算技术领域，具体地说，涉及一种基于深度学习的绘画情感分析方法。

背景技术

随着互联网时代的发展，越来越多的人们习惯于用图片甚至是视频等手段记录下他们的日常生活并利用微信、微博等社交媒体分享出来，公众对视觉内容情感表达的强烈需求，使得对图像、视频情感层面的分析变得越来越迫切。情感计算的概念被麻省理工学院媒体实验室Picard教授提出，Picard教授指出：给出情感计算的定义即与情感相关、来源于情感或者能够对情感施加影响的计算，情感计算的思想是要使得计算机能够观察、理解和表达各类情感特征等，最终像人一样能随意的表达和交流。

图像情感计算需要心理学、艺术学、计算机视觉、模式识别、人工智能等领域的共同支持，交叉学科带来的挑战使得图像情感分析极具挑战。目前还缺乏对绘画艺术作品比较系统的情感语义研究，而作为人类的精神追求，艺术常常以丰富的情感、风格迥异的绘画技法，影响观赏者对图像的情感体验。

发明内容

针对现有技术的上述缺陷，本发明提供一种基于深度学习的绘画情感分析方法。

本发明公开的基于深度学习的绘画情感分析方法，包括：

S1、构建绘画图像数据集：采用公共数据集和自建数据集构建绘画图像数据集，构建的绘画图像数据集中包含非绘画图像、绘画图像、积极情绪的图像和消极情绪的图像；

S2、预先训练好卷积神经网络VGG16模型，采用迁移学习方法，使用深度学习库MXNet作为实验框架，将模型最后一个包含1000个神经元的全连接层替换为2个神经元，以输出积极的情绪和消极的情绪；除最后一层外，全部参数保持不变，替换的最后一层网络权重初始化为[-0.07，0.07]的均匀分布，偏置则全部初始化为0，初始学习率设置为0.001，每10轮缩小10倍，采用5折交叉验证将数据集分为训练集和验证集，使用批量随机梯度下降的方式训练，批量设置为64，采用5次实验的均值作为模型的最终结果；

S3、对构建的绘画图像数据集进行扩充：采用过采样方式对构建的绘画图像数据集中的图片进行图片增广以扩充数据，随机裁剪但保留原图片至少70％区域，左右翻转，配合增加或减小最大50％亮度、饱和度的变化进行数据扩充；

S4、基于扩充的绘画图像数据集，对卷积神经网络VGG16模型进行再次训练；

S5、利用训练好的卷积神经网络VGG16模型对绘画图像进行情感分析。

如上所述的方法，其中，S5步骤的实现过程为：

将输入设置为448×448的绘画图像，经过训练好的卷积神经网络VGG16模型之后，得到一个8×8的预测块输出，其中输出的通道数表示的就是积极、消极的情感预测结果，将这个在区间[0，1]上的预测结果映射到区间[0，255]，并将消极情绪的预测值对应到RGB中的R通道、将积极情绪的预测值对应到RGB中的G通道、B通道全部初始化为0，然后采用临近插值法将此预测块还原为与原图大小一致，最终按等权重对原图和预测结果进行融合。