[发明专利]一种基于隐喻地图的视频情感分析与可视化方法与系统

权利要求书

1.一种基于隐喻地图的视频情感分析与可视化方法，其步骤包括：

采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；

构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；

利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询；

所述构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图，包括：

将按时间序列排布的情感数据，通过所归属的属性进行重新排序，生成类似树结构的情感数据，并利用Gosper曲线的特性将其放置在隐喻地图上，将相同情感类别的数据聚类展示，地图块的大小表征对应视频片段的持续时间。

2.如权利要求1所述的方法，其特征在于，所述采集观众观看视频时的情感数据，是利用基于Ekman情感理论的情感采集工具采集观众观看视频时的情绪类别和情绪数值两种类型的数据，并通过投票和回归两种方式建立情感模型，得到按时间序列排布的情感数据。

3.如权利要求2所述的方法，其特征在于，采用以下公式，通过投票选择的机制计算视频中每一秒的情感类别：

其中，F和P分别表示每位被试的熟悉程度和喜爱程度，C代表被试选择的情感类型，C_ne代表某一秒第n名用户选择了情感类型e；(F/P)_n代表第n名用户的投票比重；E_i代表每一秒中每种情感的投票得分，T_s代表了最终投票得出的该秒的代表情感。

4.如权利要求1所述的方法，其特征在于，所述通过所归属的属性进行重新排序，生成类似树结构的情感数据，是将整个视频的情感数据划分为层次结构：将整个视频划分为多个事件；每个事件中包括至少一个情感种类，每个情感种类对应一个情感节点；每个情感节点中包含若干个叶子节点，每个叶子节点对应于视频中的一秒，具有相同父节点的叶子节点之间按照时间的顺序排列。

5.如权利要求1所述的方法，其特征在于，所述隐喻地图中的颜色映射采用CIELab表色系，其由三个通道组成，第一个通道是明度即L，a通道的颜色是从红色到深绿，b通道则是从蓝色到黄色；将唤醒度映射到明度，效价映射到b通道，以直观地同时表现出唤醒度和效价的情况。

6.如权利要求1所述的方法，其特征在于，所述利用隐喻地图对视频的情感进行分析，是将隐喻地图、人物情感视图、视频播放视图、情感折线图与自然的草图交互方式，进行多视图视频情感交互式分析，实现多视图联合分析和表达。

7.如权利要求6所述的方法，其特征在于，所述人物情感视图用颜色表达情感，横轴对应时间，纵轴表示表情识别算法的识别输出概率，颜色对应于不同的情感种类，将鼠标滑至情感圆点时，显示当前人物的面部表情，并且其他不同种类的情感圆点被隐藏，以便用户更好地观察；所述草图交互方式播放对应视频、展示出不同人物所参与的共同事件、两个事件中共同参与的人物、人物的情感变化。

8.一种采用权利要求1～7中任一权利要求所述方法的基于隐喻地图的视频情感分析与可视化系统，其特征在于，包括：

情感数据采集模块，负责采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；

隐喻地图生成模块，负责构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；

情感分析模块，负责利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。