[发明专利]从文档表示信息有效
申请号: | 201280032515.9 | 申请日: | 2012-04-25 |
公开(公告)号: | CN104081385B | 公开(公告)日: | 2017-01-18 |
发明(设计)人: | H.H.马利克;V.S.巴瓦;H.菲奥尔勒塔;A.拉法特 | 申请(专利权)人: | 汤姆森路透社全球资源公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 中国专利代理(香港)有限公司72001 | 代理人: | 臧永杰,徐红燕 |
地址: | 瑞士*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档 表示 信息 | ||
1.一种方法,包括:
识别被包括在非结构化文本文档中的事件的属性,每个所识别的属性类似于被包括在预定义事件属性集合中的至少一个事件属性;
为每个所识别的属性生成文档特征;
将多个分类器中至少之一应用于每个所生成的文档特征,之前使用预定义事件属性所训练的所述至少一个分类器对应于所识别的事件属性;
使用概率估计模型从由所述至少一个分类器所生成的分类器评分来计算概率值,所述概率值指示所识别的事件属性对应于预定义事件属性集合之一的似然性;
组合与所识别的属性相关联的多个所计算的概率值,以生成分类评分;和
至少部分基于所述分类评分而从非结构化文本文档将事件和所识别的属性表示成结构化格式。
2.根据权利要求1所述的方法,此外包括:
将来自多个预定义规则的至少一个规则应用于每个所识别的属性;和
基于所述至少一个规则来确定每个所识别的属性是否类似于被包括在预定义属性集合中的至少一个事件属性。
3.根据权利要求1所述的方法,此外包括:
使用至少一个置信度模型来向事件分配置信度评分;
比较与事件相关联的置信度评分和与所训练的置信度模型相关联的置信度评分;和
基于所述比较以结构化格式从非结构化文本文档表示事件和所识别的属性。
4.根据权利要求3所述的方法,其中识别事件的属性包括规格化非结构化文本文档。
5.根据权利要求4所述的方法,其中规格化非结构化文本文档包括:
识别被包括在非结构化文本文档中的候选属性;
将唯一识别符与候选属性相关联;
比较所述候选属性与预定义事件属性中的每一个;和
基于所述比较来存储所述预定义事件属性中至少之一、所述候选属性和所述唯一识别符。
6.根据权利要求5所述的方法,其中所述候选属性是关键词、字母序列、数字和字符之一,所述候选属性是在金融领域中所定义的。
7.根据权利要求3所述的方法,此外包括:
识别邻近和包括事件的一部分非结构化文本,该部分非结构化文本具有用户可配置的文本大小;
通过对从该部分非结构化文本所得到的所有N元计数求平均值来计算与事件相关联的置信度评分;
比较所计算的与事件相关联的置信度评分和与被包括在预定义事件属性集合中的至少一个事件属性相关联的在先估计平均值;和
基于所述比较向事件分配置信度评分。
8.根据权利要求7所述的方法,此外包括如果置信度评分超过阈值,则确定被包括在该部分非结构化文本中的候选属性是否很可能要由在非结构化文本的第一语料库上所训练的模型M识别,非结构化文本的所述第一语料库是被确定为对于事件属性是真阳性的一部分非结构化文本。
9.根据权利要求8所述的方法,其中由在非结构化文本的第一语料库上所训练的模型M识别所述候选属性的似然性 通过以下公式计算:
其中是在非结构化文本的第一语料库上所训练的模型M生成n元n的概率并且通过以下公式计算:
其中S()是计算出0出现n元的古德图灵平滑函数。
10.根据权利要求9所述的方法,其中如果所计算的候选属性似然性小于与在非结构化文本的第一语料库上所训练的模型相关联的阈概率值,则使所计算的置信度评分的值变小。
11.根据权利要求9所述的方法,此外包括:
将二进制分类器应用于该部分非结构化文本;
如果所述二进制分类器将该部分非结构化文本分类为对于事件属性是阳性的,则为候选属性增大所计算的置信度评分;和
如果所述二进制分类器将该部分非结构化文本分类为对于事件属性是阴性的,则为候选属性减小所计算的置信度评分。
12.根据权利要求1所述的方法,其中概率估计模型使用保序回归或概率估计方式并且所生成的分类评分是多个所计算的概率值的加权线性组合。
13.根据权利要求1所述的方法,其中为每个所识别的属性生成文档特征包括将多个特征生成方案应用于所识别的属性。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于汤姆森路透社全球资源公司,未经汤姆森路透社全球资源公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201280032515.9/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置