[发明专利]一种基于众包的异构媒体语义融合方法

说明书

本发明公开了一种基于众包的异构媒体语义融合方法，主要包含三个部分：语义抽取、多模态语义融合、语义存储和分布。本发明采用了众包环境下的异构媒体语义融合方法，可以准确地获取任务主题和用户的历史热点主题，并且本发明完全抛开了物理特性提取，执行了仅仅基于语义领域的检索程序，保证了高精确度和高精度比率。另外，本发明在语义提纯之后保证了精确度的增长以及时间代价的稳定。

技术领域

本发明涉及一种基于众包的异构媒体语义融合方法。

背景技术

语义信息融合作为连接低等数据表现和人类知识理解的桥梁，已经成为了提升检索的效率和准确度的重要的组成部分。

语义关联分析和多模式表达是语义融合的先决条件。在不同模式下自动获取一个语义关联是一个热点，并产生了很多相关方法。通过文本可视模型来建立对图像的语义关联，挖掘文本的可视性语义。利用数据驱动方法，面向图像的描述文本，发现图像语义的关键短语来进行文本-图像的语义关联分析。针对视频中图像、音频以及文本之间的语义关联关系，使用三阶张量对镜头中时序关联的多模态信息进行表达，利用张量镜头(TensorShot)表达并应用到视频语义概念检测，效果较好，但复杂度较高。从另一个视角，利用多图模型(Multi-graph Model)对多模态信息进行表达，并将传统基于图的机器学习方法扩展到多图模型以进行多模态融合的视频语义概念检测。

在语义融合算法方面，现有方法结合数据的特征层和语义特征层，提出了一系列的算法，常见方法如非线性融合、语义投票等。基于图模型，提出了一种半监督特征融合格式，并成功应用到图像自动标注领域。在视频语义融合领域，利用多视图学习(Multi-viewLearning)，在考虑每个视图统计特性的基础上学习得到一个最优的共同表达，相关算法已经应用到了视频和图像之间的语义理解领域。在语义融合策略上，基于多图模型的多模态融合得到了广泛应用，将多图看作多个视图(Multi-view)，将多视图学习方法引入到多图模型，使得语义标签从训练数据的有标记镜头传递到无标记镜头，以提升视频语义融合的效果。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于众包的异构媒体语义融合方法。

为解决上述技术问题，本发明所采用的技术方案是：一种基于众包的异构媒体语义融合方法，包括以下步骤：

1)输入用户集合US和任务集合TS；

2)定义一个阈值ε₁，0≤ε₁≤1；

3)计算用户的历史主题tpc(U)和任务的历史主题tpc(t)；

4)遍历US集合中的每一个用户U，进行步骤5)的操作，遍历结束后跳到步骤7)；

5)遍历TS集合中的每一个任务t，进行步骤6)的操作，遍历结束跳转到步骤4)；

6)如果该任务t的历史主题tpc(t)在用户U的历史主题tpc(U)的前ε₁个范围之内，则将该任务t推荐给用户U，否则不推荐；

7)遍历所有没有被推荐分配出去的任务t，将这些任务随机推荐给US中的用户；

8)输入媒体文件M，并定义它的语义实体为SO；

9)获取M的一个标注A_i并且将A_i存储到SO中；

10)分配SO的标注重要性w_i；

11)遍历US中的每一个用户，用户编号为i，,进行步骤12)；

12)如果M可以通过A_i获取，那么k_i＝1，否则k_i＝0，然后累加|U|是提供标注的众包用户数量；