[发明专利]佛学知识萃取方法、装置、设备及存储介质

权利要求书

1.一种佛学知识萃取方法，其特征在于，所述佛学知识萃取方法包括：

获取佛学相关数据，并对所述佛学相关数据进行标准处理，得到清洗后的数据；

对所述清洗后的数据进行分词处理，得到分词后的数据；

使用TF-IDF算法对所述分词后的数据进行提取关键词处理，得到topN的词条；

使用MD5算法对所述词条进行去重处理，筛选出佛学领域词；

以所述佛学领域词为关键词，搜索佛学相关网站得到问答数据。

2.根据权利要求1所述的佛学知识萃取方法，其特征在于，所述获取佛学相关数据，并对所述佛学相关数据进行标准处理，得到清洗后的数据，包括：

搜索专业的网站、百科和微博得到所述佛学相关网站；

搜索所述佛学相关网站，得到佛学相关文章、资讯和问答的数据；

将得到的所述数据进行去除网站标签、繁简体转换和去停用词的处理，得到清洗后的数据。

3.根据权利要求1所述的佛学知识萃取方法，其特征在于，所述使用TF-IDF算法对所述分词后的数据进行提取关键词处理，得到topN的词条，包括：

计算所述分词后的数据的每个词的词频，得到词频；

计算所述分词后的数据的每个词的逆文档频率，得到逆文档频率；

对所述词频和所述逆文档频率进行加权计算并降序排列，得到topN的词条。

4.根据权利要求1所述的佛学知识萃取方法，其特征在于，所述使用MD5算法对所述词条进行去重处理，筛选出佛学领域词，包括：

将获取到的词条进行按位填充处理，得到填充后的数据；

记录并存储所述词条的长度，得到补充数据；

将所述补充数据添加在所述填充后的数据之后，得到结果数据；

将所述结果数据进行装入标准幻数处理，得到储存的数据段；

对所述数据段进行四轮循环运算处理和去重处理，得到佛学领域词。

5.根据权利要求1所述的佛学知识萃取方法，其特征在于，所述以佛学领域词为关键词，搜索佛学相关网站得到问答数据，包括：

取出部分所述问答数据，过滤，得到训练语料；

调用知识萃取工具对所述训练语料中的所述问答数据进行学习，得到分类模型；

使用所述分类模型大规模的筛选所述问答数据，得到筛选后的问答数据。

6.根据权利要求1所述的佛学知识萃取方法，其特征在于，在所述以佛学领域词为关键词，搜索佛学相关网站得到问答数据之后，还包括：

将所述问答数据进行提取关键词处理和去重处理得到领域词V1版；

将所述领域词与所述领域词V1版进行匹配去重处理，得到领域词V2版。

7.一种佛学知识萃取装置，其特征在于，所述佛学知识萃取装置包括：

清洗模块，用于获取佛学相关数据，并对所述佛学相关数据进行标准处理，得到清洗后的数据；

分词模块，用于对所述清洗后的数据进行分词处理，得到分词后的数据；

提取关键词模块，用于使用TF-IDF算法对所述分词后的数据进行提取关键词处理，得到topN的词条；

去重模块，用于使用MD5算法对所述词条进行去重处理，筛选出佛学领域词；

搜索模块，用于以所述佛学领域词为关键词，搜索佛学相关网站得到问答数据。

8.根据权利要求7所述的佛学知识萃取装置，其特征在于，所述去重模块包括：

填充单元，用于将获取到的词条进行按位填充处理，得到填充后的数据；

存储单元，用于记录并存储所述词条的长度，得到补充数据；

添加单元，用于将所述补充数据添加在所述填充后的数据之后，得到结果数据；

装载单元，用于将所述结果数据进行装入标准幻数处理，得到储存的数据段；

去重单元，用于对所述数据段进行四轮循环运算处理和去重处理，得到佛学领域词。