[发明专利]佛学知识萃取方法、装置、设备及存储介质

说明书

本发明涉及数据处理的技术领域，公开了一种佛学知识萃取方法、装置、设备及存储介质，包括：获取佛学相关数据，并对所述佛学相关数据进行标准处理，得到清洗后的数据，对所述清洗后的数据进行分词处理，得到分词后的数据，使用TF‑IDF算法对所述分词后的数据进行提取关键词处理，得到topN的词条，使用MD5算法对所述词条进行去重处理，筛选出佛学领域词，以所述佛学领域词为关键词，搜索佛学相关网站得到问答数据；本发明经过简单的循环步骤可以获得大量经过筛选的所需数据，避免查找佛学问答数据需要佛学专业知识的积累和领域专家支持，互联网海量数据也不需要用户自己去筛选，提高了查找效率，节省了查找的时间成本。

技术领域

本发明涉及数据处理的技术领域，特别涉及一种佛学知识萃取方法、装置、设备及存储介质。

背景技术

问答数据是问答系统构建的基础，一个较好的问答系统离不开大量的、高质量的问答数据的支持。佛学作为一个需要较高专业知识的领域，构建大量高质量的问答数据是一个耗时耗力的工作。

传统的获取某专业领域的问答数据，需要领域专家的技术支持，同时需要在该领域长时间积累专业数据，数据的获取难度很高。特别是佛学这种专业程度很高的领域，难度更大。在缺乏佛学专业的积累、缺乏专家支持的情况下，不能从互联网的海量数据中较快、较好的获取问答数据。

发明内容

本发明的目的在于提供一种佛学知识萃取方法、装置、设备及存储介质，旨在解决查找佛学问答数据需要佛学专业知识的积累和领域专家支持，从互联网的海量数据中不能快速、有效地获取问答数据的技术问题。

为实现上述目的，本发明第一方面提供一种佛学知识萃取方法，所述佛学知识萃取方法包括：

获取佛学相关数据，并对所述佛学相关数据进行标准处理，得到清洗后的数据；

对所述清洗后的数据进行分词处理，得到分词后的数据；

使用TF-IDF算法对所述分词后的数据进行提取关键词处理，得到topN的词条；

使用MD5算法对所述词条进行去重处理，筛选出佛学领域词；

以所述佛学领域词为关键词，搜索佛学相关网站得到问答数据。

可选的，在本发明第一方面的第一种实现方式中，所述获取佛学相关数据，并对所述佛学相关数据进行标准处理，得到清洗后的数据，包括：

搜索专业的网站、百科和微博得到所述佛学相关网站；

搜索所述佛学相关网站，得到佛学相关文章、资讯和问答的数据；

将得到的所述数据进行去除网站标签、繁简体转换和去停用词的处理，得到清洗后的数据。

可选的，在本发明第一方面的第二种实现方式中，所述使用TF-IDF算法对所述分词后的数据进行提取关键词处理，得到topN的词条，包括：

计算所述分词后的数据的每个词的词频，得到词频；

计算所述分词后的数据的每个词的逆文档频率，得到逆文档频率；

对所述词频和所述逆文档频率进行加权计算并降序排列，得到topN的词条。

可选的，在本发明第一方面的第三种实现方式中，所述使用MD5算法对所述词条进行去重处理，筛选出佛学领域词，包括：

将获取到的词条进行按位填充处理，得到填充后的数据；

记录并存储所述词条的长度，得到补充数据；

将所述补充数据添加在所述填充后的数据之后，得到结果数据；

将所述结果数据进行装入标准幻数处理，得到储存的数据段；