[发明专利]非结构化数据检索方法及系统

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种非结构化数据检索方法及系统。

背景技术

大数据时代，企业中积累了大量办公文档、PDF、视频等非结构化数据，这些数据来自于企业员工工作过程的多种操作，有的由员工自己创建，有的来自于邮件，有的则来自网络下载。想要在积累起来的大量非结构化数据中搜索需要的文件，需要经过多次搜索尝试，也需要花费相当长的时间。为加强非结构化数据检索效果，涌现出很多针对搜索排名方法的研究，有的研究通过为文件之间建立链接以提高检索排名效果，有的研究通过记录用户搜索历史来提高再次检索的效率，还有研究通过让用户添加自己对目标数据的记忆来帮助提高检索效率，现有研究在对搜索结果的排名基本是在“数据是平等的”这个前提下进行的，并未考虑数据与用户行为的关系对检索排名的影响，同时现有技术方案在数据重要性问题上涉及较少。

目前国内外对非结构化数据检索排名的主要方案，1）通过挖掘文件的单次访问情况和访问频率，提出新建桌面资源链接的算法；2）提出了以学习为基础的排名算法，其效率远优于基于文件基本属性的排名算法；3）提出基于用户记忆的桌面搜索方法，在搜索时由用户完善对目标文件的记忆（如文件名、上次访问时间）的方式，来提高检索排名效率；4）提出基于任务来定位数据资源，并未考虑检索时如何利用任务；5）提出基于用户活动分析的桌面资源定位，除自动抽取用户任务外，还通过挖掘桌面资源链接来支持模糊检索。

对非结构化数据检索排名的现有解决方案主要着眼于数据本身，并未考虑数据与用户行为的关系对检索排名的影响，同时现有技术方案在数据重要性问题上涉及较少。然而实际上，对数据的任何操作总是处于用户的某个任务中的，如果对数据的任务上下文进行标识，搜索结果中将任务属性与用户检索行为的当前任务相似数据的排名提前，显然能够更让用户满意。此外，用户完成一项工作或者任务过程中，有一部分数据会被频繁操作（例如一个项目中的项目需求文档），而另一部分数据仅操作过数次（可能是一篇来自网络的技术文章），也就是属于同一任务的不同数据其重要性不同。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种非结构化数据检索方法，该方法可以提升非结构化数据的检索效率及检索准确度。

本发明的另一目的在于提出一种非结构化数据检索系统。

为了实现上述目的，本发明第一方面的实施例公开了非结构化数据检索方法，包括以下步骤：采集用户行为数据；定期处理所述用户行为数据以将预定时间段内的用户行为数据的任务属性合并到任务列表中；根据用户的搜索请求使用关键字检索而获取多个搜索结果；计算每个搜索结果的任务分、访问次数分和编辑时长分，其中所述任务分是所述每个搜索结果的任务属性与所述任务列表中的任务属性的相似度；基于所述任务分、所述访问次数分和所述编辑时长分对所述多个搜索结果进行数据热度计算；以及根据数据热度计算将所述多个搜索结果进行重新排序。

根据本发明实施例的非结构化数据检索方法，可以提升非结构化数据的检索效率，不仅具有使用关键字进行检索的准确性，还通过计算非结构化数据的任务相似度、在任务中的重要程度、关键字匹配程度、访问次数和编辑时长等因素，有效提升检索准确度和与检索目的的匹配度。

另外，根据本发明上述实施例的非结构化数据检索方法还可以具有如下附加的技术特征：

在一些示例中，进一步包括步骤：显示重新排序后的所述多个搜索结果。

在一些示例中，所述用户行为数据是根据对所述用户的行为日志进行分析得到的。

在一些示例中，进一步包括步骤：计算每个搜索结果的初始排名分，其中基于所述任务分、所述访问次数分、所述编辑时长分和所述初始排名分对所述多个搜索结果进行数据热度计算。

在一些示例中，所述数据热度计算公式：

heat_score=p*taskScore*(t₁+t₂*accessScore+t₃*edittimeScore)+q*initScore，其中，p、q、t1、t2、t3是权重值。

在一些示例中：p:q:t1:t2:t3=95:5:0.9:0.07:0.03。

在一些示例中，还包括：根据各个搜索结果的数据类型和应用场景调整在进行数据热度计算时的权重。

在一些示例中，进一步包括步骤：对所述多个搜索结果进行聚类；分别对所述每个聚类结果中的各个搜索结果进行排序。