[发明专利]一种基于语言模型的医案搜索方法

摘要

本发明公开了一种基于语言模型的医案搜索方法。步骤如下：1)通过OCR，文本结构化处理，从医案书籍中提取结构化单篇医案；2)使用中文分词工具，对所有医案进行包括分词和去停用词在内的预处理；3)用最大似然估计计算得到每篇医案的unigram语言模型；4)针对所有医案，统计各词频水平对应词语的个数，并使用统计到的数据拟合曲线；5)使用Good‑Turing估计方法来平滑每篇医案的unigram语言模型；6)以所有医案集作为整体建立一个所有医案集的语言模型，并用于修正单篇医案的unigram语言模型；7)使用修正后的语言模型实现医案搜索。本发明实现了基于语言模型的信息检索，使用N‑gram针对每篇医案建立各自的语言模型，使用语言模型生成文本的概率作为搜索结果排序依据。

主权项

1.一种基于语言模型的医案搜索方法，其特征在于包括以下步骤：1)通过OCR，文本结构化处理，从医案书籍中提取结构化单篇医案；2)使用中文分词工具，对所有医案进行包括分词和去停用词在内的预处理，并建立词典；3)用最大似然估计计算得到每篇医案的unigram语言模型；4)针对所有医案，统计各词频水平对应词语的个数Ntf，其中下标tf代表词频水平，使用统计到的数据拟合曲线，拟合公式如下：得到曲线参数θ；5)根据步骤4)拟合的曲线计算再通过直接估计出比值；使用Good‑Turing估计方法来平滑每篇医案的unigram语言模型，公式如下：式中：tf*平滑后的词频水平,E()表示最大似然估计；6)将所有医案替代单篇医案作为训练文本，重复步骤2)到5)，以所有医案集作为整体建立一个所有医案集的语言模型，使用该语言模型通过加权加和法修正单篇医案的unigram语言模型，修正公式如下：Psum(t|d)＝ω×Pdocument(t|d)+(1‑ω)×Pcorpus(t)式中：Psum(t|d)为修正后的单篇医案的unigram语言模型；ω为权重；Pdocument(t|d)为平滑后的每篇医案的unigram语言模型；Pcorpus(t)为整个医案集的语言模型；7)使用修正后的语言模型实现医案搜索。