[发明专利]一种个性化及协同化融合的网上多媒体检索与查询方法有效

专利信息
申请号: 200810137992.7 申请日: 2008-07-18
公开(公告)号: CN101334796A 公开(公告)日: 2008-12-31
发明(设计)人: 朱信忠;赵建民;李青;徐慧英 申请(专利权)人: 浙江师范大学
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 浙江杭州金通专利事务所有限公司 代理人: 徐关寿
地址: 321004浙*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 个性化 协同 融合 网上 多媒体 检索 查询 方法
【说明书】:

技术领域

发明涉及一种基于用户侧档的网上多媒体的检索方法,尤其涉及一种基于多模态信息融合分析和交互检索的跨媒体检索方法。

背景技术

目前Internet的信息量以每1.6年翻一倍的速度急剧增长。随着20世纪90年代多媒体技术的迅速发展,以及新的有效的多媒体编码技术的不断出现,大量的视频、音频和图像等多媒体信息成为了网络中不可或缺的重要资源。面对着日益增多的多媒体信息,使得对这些信息资源的存储、管理和利用变得非常困难。对于普通用户而言,他们需要面对的就是如何从浩瀚的信息海洋中准确快速地检索出自身所需的信息;而对于检索系统而言,就必须能够准确理解用户的意图,并按照用户的意图检索出用户最感兴趣的信息。

传统的数据类型主要是整型、实型、布尔型和字符型,因此其数据库技术可以采用基于关键字的检索方法。而在多媒体数据处理中,除了上述数据类型外,还包括图形、图像、声音、视频流等数据类型。因此,在基于关键字的检索系统中,网络开发人员必须事先对多媒体对象进行标注以利于用户的检索。但是这种模式明显存在着弊端:(1)、由于网络上多媒体信息的数量不断增多,数据量巨大,标注过程本身工作量浩繁,手工标注日益变得不切实际;(2)、标注本身存在着很大的主观性,针对同一个多媒体对象,不同的标注者完全可能有不同的理解,并标注不同的关键字,因此标注的关键字并不能完全准确、客观地反映多媒体对象所涵盖的语义,自然也不利于网络用户的检索了;(3)、无法体现检索的信息在视觉或听觉上的相似程度。

在这种情况下,基于内容的多媒体检索技术应运而生,并成为计算机视觉和信息检索领域的研究热点。上世纪90年代初期人们提出了基于内容的图像检索技术,从图像提取底层的视觉特征,如颜色、纹理、形状等底层特征作为图像的索引。这种技术思路后来也被运用到视频检索和音频检索中。基于内容的多媒体检索方法早期有以QBIC、VideoQ等为代表的原型系统,当时由于缺乏高层语义的支持,在准确率和效率上不能满足用户要求;之后例子学习、融合分析和流形学习等方法被用来实现多媒体语义理解,以填补多媒体信息底层特征和高层语义之间的鸿沟;接着为了克服训练样本的不足,又引入了相关反馈机制等。以上各种技术的应用,在一定程度上缩小了语义鸿沟,提高了网络多媒体检索的性能。

然而,现有的多媒体检索系统依然存在很多问题:(1)、传统的基于内容的多媒体检索系统通常通过提取色彩、形状、纹理等底层特征进行相似度比较,并根据相似度来建立与高层语义之间的联系和映射。然而单纯地对提取的多媒体底层特征进行相似度比较,在很多情况下并没有任何实质意义。例如当用户搜索“鸡肉”或“家禽肉类”等菜谱图片时,搜索引擎根据底层特征的相似度比较几乎无法准确区分出鸡肉、鸭肉和鹅肉甚至猪肉等的不同,更别说是烤鸭和烤鹅照片区别了,因它们之间颜色等底层特征的相似度很高。因此,利用这种方法进行检索的准确性较低;(2)、传统的多媒体检索系统不能很好地理解用户的真实意图,因此也无法准确地根据用户意图对检索结果进行优化和排序,即优先提供用户最感兴趣的内容;如上述肉类的菜谱图片检索过程中,某些种族用户有风俗忌讳(如伊斯兰穆斯林不吃猪肉、猛禽等),要适当对结果进行过滤;某些人喜欢吃烧鸡,不喜欢吃烤鸡、烤鸭、酱鸭,则尽量将他所感兴趣的烧鸡菜谱图片靠前排序。(3)、传统的多媒体检索系统往往只能检索包含单一模态的多媒体数据库,或虽能检索多模态媒体数据,但不能支持跨媒体的检索,即根据一种模态的多媒体对象检索其它模态的多媒体对象;

发明内容

为了克服已有的主流网络多媒体检索方法存在的基于内容的多媒体查询精确度上不去、基于相似度的检索往往结果对个性化用户没有意义、多媒体底层特征与高层语义之间存在鸿沟、检索准确率低下、不能准确理解用户意图并按照用户意图对检索结果进行优化和排序、不支持跨模态媒体检索等不足,本发明提供了一种个性化及协同化融合的网上多媒体检索与查询的方法,通过合理建立多媒体信息底层特征与高层语义之间的联系和映射,结合个性化的用户侧档与公共侧档,能够准确地理解用户的真实意图,并按照用户意图进行跨模态的多媒体网络检索,并对检索结果进行优化与排序,实现了用户检索的个性化,并提高了多媒体网络检索的精确度。

本发明解决其技术问题所采用的技术方案是:

一种个性化及协同化融合的网上多媒体检索与查询方法,该方法包括以下步骤:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江师范大学,未经浙江师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/200810137992.7/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code