[发明专利]一种个性化及协同化融合的网上多媒体检索与查询方法

摘要

一种个性化及协同化融合的网上多媒体检索与查询方法，包括以下步骤：(1)利用已有的语义信息，进行媒体对象语义的自动标注；(2)建立包含用户信息及个人喜好的用户侧档，检索系统按照用户意图对检索结果进行排序和优化；(3)根据用户相关反馈，动态调整用户侧档中各关键短语的权重，更准确体现用户意图；(4)建立用户侧档→群组侧档→社区侧档的多层侧档模式，层次间具有继承与共享机制，求同存异，支持海量存储；(5)对多模态信息融合分析进行多媒体语义理解，实现跨模态的多媒体对象检索。本发明能准确把握用户的意图，实现高精度、个性化、跨模态的多媒体检索。

主权项

1、一种个性化及协同化融合的网上多媒体检索与查询方法，其特征在于：该方法包括以下步骤：(1)、对多媒体信息进行语义的自动标注：利用多媒体信息数据库的各种已有的高层语义，所述各种已有的高层语义包括文本语义标注、多媒体信息间的超链接说明、主题词、图像的主体名及其视觉特征描述词、Web页面内的多媒体信息间的关联描述，通过统计学习模型从中自动选取最能表达多媒体内容的若干关键字作为媒体信息的语义，并结合多媒体信息的底层特征相似度检索，进行关键字传播和多媒体语义的自动信息标注；(2)、建立用户侧档，其中包含用户的信息及个人喜好，按照用户的喜好程度，对检索结果进行优化排序，剔除用户不感兴趣的内容；用户侧档的基本结构定义如下：UP＝<UInfo，P，UPL>UInfo＝<UID，UN，UD>其中UPL表示用户感兴趣的关键短语的相关信息，P是指向用户所属群组的公共侧档的指针；UInfo表示用户信息，UID表示用户唯一标识符，UN表示用户名，UD表示用户其它描述信息；在用户使用过程中，按照用户搜索的结果进行聚类分析，确定用户最感兴趣的关键短语；(3)在每次检索结束后，用户对系统当前查询结果的满意程度进行反馈，系统接收用户的相关反馈意见，然后根据用户的反馈意见进行查询调整，动态调整用户侧档中各关键短语的权重，在下一次检索时能够按照新的关键短语的优先度对检索结果进行排序；(4)、用户选择属于某一群组，系统为该群组建立公共侧档来描述群组的共同行为和群组成员的普遍爱好；当一个用户新加入一个群组，从这个群组的公共侧档中继承属性；同样，群组侧档又能够从范围更大的社区侧档中继承属性；公共侧档的基本结构定义为：CP＝<CInfo，WL，Suc>CInfo＝<GID，NAME，DE>其中WL表示该公共侧档中用户的共同偏好，Suc表示该公共侧档的继承关系；CInfo表示该公共侧档的信息，GID表示本公共侧档唯一标识符，NAME表示公共侧档的名称，DE表示该公共侧档其它的描述信息；公共侧档的建立过程：在系统建立时，根据已有的经验知识，为不同的群组事先指定共同偏好；同时，公共侧档根据内部各成员的检索偏好及相关反馈的情况，动态调整预先制定的共同爱好；在公共侧档进行更新时，通过限制每个用户对特定关键字的投票次数，并结合公共侧档的用户副本在线更新模式；(5)、系统对多模态信息融合分析进行多媒体语义的理解，建立不同模态媒体对象之间的语义链，用户实现跨模态的多媒体信息查询，即用户提交任意模态的检索例子去检索任意模态的媒体对象或者多媒体文档。