[发明专利]英文单词和语句筛选方法、装置、存储介质及电子设备有效
申请号: | 201811166650.8 | 申请日: | 2018-10-08 |
公开(公告)号: | CN109376355B | 公开(公告)日: | 2023-07-04 |
发明(设计)人: | 董晨;杨熙;饶丰 | 申请(专利权)人: | 上海一起作业信息科技有限公司 |
主分类号: | G06F40/216 | 分类号: | G06F40/216;G06F40/284;G06F40/211 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 袁礼君;阚梓瑄 |
地址: | 201802 上海市嘉*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 英文单词 语句 筛选 方法 装置 存储 介质 电子设备 | ||
1.一种英文单词筛选方法,其特征在于,包括:
获取待筛选的英文文本,并对所述英文文本做分词处理,得到多个候选单词;
分别获取各个候选单词的单词统计评分和单词经验评分;其中,所述单词统计评分与单词使用频率相关,所述单词经验评分与单词等级相关;所述单词统计评分是根据语料单词的使用频率、所有语料单词中使用频率的最大值、所有语料单词中使用频率的最小值以及单词评分调整系数计算得到的;所述单词经验评分是通过查询与单词等级相关的单词经验评分词典得到的,所述单词经验评分词典是基于现有的单词等级划分标准进行构建的;
对所述候选单词的单词统计评分和单词经验评分加权求和,得到所述候选单词的单词综合评分;
根据所述单词综合评分对所述候选单词进行筛选,得到预设数量的英文单词。
2.根据权利要求1所述的英文单词筛选方法,其特征在于,在分别获取各个候选单词的单词统计评分和单词经验评分之前,所述方法还包括:
对所述候选单词做词性标注,并根据词性标注结果对所述候选单词进行筛选,得到符合预设词性的候选单词。
3.根据权利要求2所述的英文单词筛选方法,其特征在于,所述预设词性为名词、动词、形容词和/或副词;其中,所述名词是除专有名词以外的普通名词。
4.根据权利要求1所述的英文单词筛选方法,其特征在于,在分别获取各个候选单词的单词统计评分和单词经验评分之前,所述方法还包括:
对所述候选单词做字符数标注,并根据字符数标注结果对所述候选单词进行筛选,得到符合预设字符数的候选单词。
5.根据权利要求1所述的英文单词筛选方法,其特征在于,所述分别获取各个候选单词的单词统计评分和单词经验评分,包括:
查询与单词使用频率相关的单词统计评分词典,得到各个候选单词的单词统计评分;
查询与单词等级相关的单词经验评分词典,得到各个候选单词的单词经验评分。
6.根据权利要求5所述的英文单词筛选方法,其特征在于,在查询与单词使用频率相关的单词统计评分词典之前,所述方法还包括:
获取英文语料库,并对所述英文语料库中的英文语料进行分词处理,得到多个语料单词;
统计各个语料单词在所有语料单词中的使用频率,并根据所述使用频率计算所述语料单词的单词统计评分;
建立所述语料单词与所述单词统计评分的映射关系,形成所述单词统计评分词典。
7.根据权利要求6所述的英文单词筛选方法,其特征在于,所述根据所述使用频率计算所述语料单词的单词统计评分,包括:
按照如下公式计算所述语料单词的单词统计评分:
其中,s为所述语料单词的单词统计评分,a为所述语料单词的使用频率,β为所有语料单词中使用频率的最大值,γ为所有语料单词中使用频率的最小值,A为单词评分调整系数。
8.一种英文单词筛选装置,其特征在于,包括:
单词获取单元,被配置为获取待筛选的英文文本,并对所述英文文本做分词处理,得到多个候选单词;
单词评分获取单元,被配置为分别获取各个候选单词的单词统计评分和单词经验评分;其中,所述单词统计评分与单词使用频率相关,所述单词经验评分与单词等级相关;所述单词统计评分是根据语料单词的使用频率、所有语料单词中使用频率的最大值、所有语料单词中使用频率的最小值以及单词评分调整系数计算得到的;所述单词经验评分是通过查询与单词等级相关的单词经验评分词典得到的,所述单词经验评分词典是基于现有的单词等级划分标准进行构建的;
单词综合评分单元,被配置为对所述候选单词的单词统计评分和单词经验评分加权求和,得到所述候选单词的单词综合评分;
单词筛选单元,被配置为根据所述单词综合评分对所述候选单词进行筛选,得到预设数量的英文单词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海一起作业信息科技有限公司,未经上海一起作业信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811166650.8/1.html,转载请声明来源钻瓜专利网。