[发明专利]一种赛事文字直播关键句抽取方法在审
申请号: | 201810310247.1 | 申请日: | 2018-04-09 |
公开(公告)号: | CN108549636A | 公开(公告)日: | 2018-09-18 |
发明(设计)人: | 吕学强;董志安 | 申请(专利权)人: | 北京信息科技大学;吕学强 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F17/30;G06N3/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100192 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 抽取 时间特征 二分类 关键词扩展 直播 正确率 转换 算法 分类 应用 | ||
1.一种赛事文字直播关键句抽取方法,其特征在于,包括:
步骤一:利用Word2Vec进行关键词扩展,得到得分相关词集和其他相关词集,将得分相关词集、其他相关词集再加上比分特征和时间特征共同构成关键句抽取特征;
步骤二:把关键句抽取转换为二分类问题,利用Adaboost算法进行分类。
2.根据权利要求1所述的赛事文字直播关键句抽取方法,其特征在于,步骤一包括:利用Word2Vec工具把背景语料中的词语用向量进行形式化表示,把对文本的处理简化为向量空间中的向量运算,通过计算向量空间上的相似度来表示文本语义上的相似度,实现相关词扩展。
3.根据权利要求1-2所述的赛事文字直播关键句抽取方法,其特征在于,步骤一还包括:在将词表示为相应的向量形式后,向训练后得到的词向量文件中输入关键词,通过计算余弦距离,输出在一定阈值内或者一定的顺序与该关键词在语义上相似的词语,从而得到关键词的相关词集。
4.根据权利要求1-3所述的赛事文字直播关键句抽取方法,其特征在于,余弦距离的计算如下式所示:
5.根据权利要求1-4所述的赛事文字直播关键句抽取方法,其特征在于,步骤一包括:
基于Skip-gram模型,并采用Hierarchical Softmax方法进行优化训练;利用当前词的词向量预测指定窗口上下文的词向量,假设给定训练特征数据w1,w2,w3…wT,则Skip-gram模型的目标函数为:
采用Hierarchical Softmax算法,该算法利用Huffman二叉树表示特征词,将输出层的T个单词作为叶子结点,将每个词的出现频次作为权重进行编码,对高频词分配较短路径,低频词分配较长路径,从而每个单词都可以从树的根结点沿着唯一的一条路径被访问到,p(u|w)函数定义如下:
采用梯度下降法来求解目标函数,生成单词的词向量表示形式。
6.根据权利要求1-5所述的赛事文字直播关键句抽取方法,其特征在于,得分相关词是与得分相关的词语;步骤一包括:通过手工收集一些得分关键词,然后利用Word2Vec对得分关键词进行相关词扩展形成得分相关词集,统计句子中是否包含得分相关词以及包含得分相关词的个数,来作为关键句的抽取特征。
7.根据权利要求1-6所述的赛事文字直播关键句抽取方法,其特征在于,步骤一包括:通过手工收集一些其他关键词,然后利用Word2Vec对这些基本的其他关键词进行相关词扩展形成其他相关词集,统计句子中是否包含其他相关词以及包含其他相关词的个数,并将其作为关键句的抽取特征。
8.根据权利要求1-7所述的赛事文字直播关键句抽取方法,其特征在于,步骤一包括:定义一个时间函数,通过函数判定句子是否在特定的时间范围内,并对此赋予不同的权重,来描述不同时间段的重要程度,其函数定义如下:
F(s)=pf1(s)+qf2(s)+rf3(s);
把时间特征作为关键句抽取的一项特征。
9.根据权利要求1-8所述的赛事文字直播关键句抽取方法,其特征在于,比分特征包括比分较上一条的比分变化、球队累计得分、球员累计得分、球队累计不得分;如果这条文字直播与上条文字直播相比,得分有变化,取变化的数量作为特征,;如果一个球队持续累计得分越多,则越重要,以累计得分作为特征;如果一个球员累计得分越多,说明该球员的表现比较好;如果一个球队累计不得分,则把累计不得分的时间作为特征。
10.根据权利要求1-9所述的赛事文字直播关键句抽取方法,其特征在于,步骤二包括:把文字直播的关键句抽取转换为二分类问题,分为关键句和非关键句,对文字直播文本进行二分类,关键句标签为1,非关键句标签为-1;利用分类与回归树进行不断迭代得到一个强分类器,进行二分类,输出标签为1的属于关键句,输出标签为-1的为非关键句。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京信息科技大学;吕学强,未经北京信息科技大学;吕学强许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810310247.1/1.html,转载请声明来源钻瓜专利网。