[发明专利]一种基于部分可观测马尔科夫决策过程模型的会话搜索方法

摘要

基于部分可观测马尔科夫决策过程模型的会话搜索方法包括如下步骤1)准备阶段，将语料库以主题为单位进行标记，并记录用户在检索主题时的交互过程。记录所有的检索交互后，生成训练文件。2)训练阶段，初始化统计量，并且计算初始的状态转移函数。从训练文件中解析会话的交互数据，并根据交互数据更新状态转移函数。3)检索阶段，接收初始的查询语句，在对返回的文档不满意时，更新查询语句，直到返回满意的文档结果。

主权项

一种基于部分可观测马尔科夫决策过程模型的会话搜索方法，该方法包括如下步骤：1)准备阶段a)爬取足够多的网页文档，将爬取的网页文档筛选整理为语料库全集C＝{di}，其中di表示一个网页文档；b)定义一组主题(topics)，采用雅虎提供的Yahoo BOSS(Build your Own Search Service)APIs进行会话搜索，记录搜索过程中的涉及的查询、查询的更改、用户点击的结果文档、点击停留时间等数据、用户对于点击文档的意图，并将这些会话的行为数据存储为训练文档；c)结束准备阶段；2)训练阶段a)构建基于部分可观测马尔可夫决策过程的会话搜索模型；b)数据预处理，计算状态转移概率P(sj|s，at，bt)，并由此计算检索阶段中初始需要使用的统计量Ps(t|d)和Pus(t|d)；c)解析步骤1‑b)中生成的训练文档，其中包括多个会话的信息；d)读取强化学习中的一个会话，其中包括一次或多次用户对搜索结果的操作信息；e)读取此会话中的用户对搜索结果的一次操作的信息，包括涉及的查询，查询的更改，点击的文档，点击的停留时间等；f)根据操作信息更新Pus(t|d)的值；g)根据操作信息，计算从观察ω到状态s的转移函数P(s|ω)，并据其计算执行动作a转移到状态s后的观察为ω的观察函数O(s，a，ω)，即P(ωt|b′，∑u)和P(ωt|b′，at，∑se)，从而更新b(s)；h)重复步骤d)‑g)直到此会话结束；i)重复步骤2‑c)至步骤2‑f)直到所有会话都被处理完毕；j)结束训练阶段；3)检索阶段a)接收用户当前输入的查询语句qi；b)计算当前查询qi下返回每个文档的收益，以此作为文档d与当前查询qi的关联度；c)返回关联度最高的前N篇文档(本发明取10)；d)重复3‑a)至3‑c)直到用户结束查询；e)结束检索阶段。