[发明专利]一种基于问答平台的数据处理方法和装置

说明书

本发明提供一种基于问答平台的数据处理方法和装置，以解决数据挖掘的效率和精度较低的问题。所述的方法包括：对从问答平台获取的各答案数据分别进行文本分析，确定各答案数据的相似度；根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照所述相似度分别对各答案数据对应的问题进行聚类，得到各问题簇；分别对每个问题簇中的各项问题进行文本分析，提取所述问题簇中由各问题的关键词所构成的相关词对，其中，同一问题簇内的各关键词具有相关性。通过答案数据的相似度分析可以消除答案数据中的噪声，同时减少了对答案数据中不相关数据的处理，有效地量化了问题的相似性，既提高了数据的处理效率，又提高了数据处理的精度。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于问答平台的数据处理方法和一种基于问答平台的数据处理装置。

背景技术

问答平台为用户提供的一个交流平台，用户可以在问答平台接受专家和其他网民等用户的帮助，同时也尽力给其他用户提供有效的帮助。问答平台的内容都是由用户产生，经过统计和挖掘，可以获得各方面有价值的信息。

基于问答平台挖掘相关实体时，通常是抽取问答平台中对同一个话题的相关问题，然后根据不同用户针对同一问题的回答来挖掘出相关的实体信息。例如，有关电动车的话题，对于问答平台中的问题1“买什么牌子的电动车最划算？”，用户A回答：“爱玛最近降价很多”；用户B回答：“我的是雅迪，挺不错”。对于问题2“什么牌的电动车最省电？”，用户A回答：“爱玛的很费电”；用户B回答：“绿源的骑一周基本没问题。”由此可以得知“爱玛”“雅迪”和“绿源”都是相关实体的关键词。

但是，对于同一个问题，各用户的回答可能包含有很多不相关数据或者噪声，会导致数据挖掘的效率和精度较低。其中一种是由于答案数据对应的数据量往往过大，且不易量化答案的相关性，而导致产生很多不相关数据的计算，该计算并过程没有实际价值，进而导致数据挖掘的效率较低。例如，对于上述问题1，用户可能产生的不相关回答有“电动车老得充电不实用”、“骑自行车的飘过”等。还有一种是由于问题的不准确而导致回答中包含较多噪声答案，进而导致挖掘的精度下降。例如，对于上述问题2“买什么牌子的车最划算？”，由于问题本身不明确，用户可能回答“爱玛”、“宝马”、“雅马哈”等不同种类的车的品牌，而实际上，它们分别是电动车、汽车和摩托车的品牌，在数据挖掘中通过统计词频等操作后“爱玛”、“宝马”、“雅马哈”等都会被算作是相关实体，产生混淆的概念，使得数据挖掘结果不准确，数据分析效率往往偏低。

发明内容

本发明实施例所要解决的技术问题是提供一种基于问答平台的数据处理方法，以解决数据挖掘的效率和精度较低的问题。

相应的，本发明实施例还提供了一种基于问答平台的数据处理装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种基于问答平台的数据处理方法，包括：对从问答平台获取的各答案数据分别进行文本分析，确定各答案数据的相似度；根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照所述相似度分别对各答案数据对应的问题进行聚类，得到各问题簇；分别对每个问题簇中的各项问题进行文本分析，提取所述问题簇中由各问题的关键词所构成的相关词对，其中，同一问题簇内的各关键词具有相关性。

可选的，所述对从问答平台获取的各答案数据分别进行文本分析，确定各答案数据的相似度，包括：对从问答平台获取的属于同一预设类别的各答案数据进行文本特征提取，获取答案数据的特征词汇；根据所述特征词汇计算各答案数据之间的相似度。

可选的，所述根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照所述相似度分别对各答案数据对应的问题进行聚类，包括：根据所述问答平台记录的各项问题与答案数据之间的对应关系，分别查找每个答案数据对应的问题；按照所述各答案数据之间的相似度，对预设类别内的各项问题进行聚类，获取所述预设类别下聚类得到的各问题簇。