[发明专利]一种基于迁移学习和深度学习的人民调解案例分类系统及方法

说明书

本发明涉及一种基于迁移学习和深度学习的人民调解案例分类系统及方法，本发明系统包括数据采集模块、特征提取模块、特征迁移模块、网络训练模块，系统结构简单，应用范围广；本发明方法包括构造字符向量矩阵，辅助数据向量化处理，人民调解数据向量化处理，将向量化后的辅助数据输入到神经网络中，提取辅助数据特征，将提取的辅助数据特征迁移到向量化后的人民调解数据中，训练分类模型。本发明方法可以有效的对所有文本进行转换，不会忽略低频词，维度下降明显，训练速度快，便于后续的在线迭代优化；同时解决了人民调解领域与辅助领域之间的差异性，满足了特定领域的个性化需求。

技术领域

本发明涉及数据处理分类技术领域，尤其涉及一种基于迁移学习 和深度学习的人民调解案例分类系统及方法。

背景技术

目前，我国每年调解纠纷900多万件，现有的纠纷类型却只有 20多类，随着经济社会的发展，案件的数量增加和案件的类型呈现 出多样化，如何快速的将案件进行准确的分类并及时增添新的案件类 型，提高调解工作的效率，是人民调解工作面临的严峻问题。当前人 民调解案件类型存在以下不足：1、已存的案件类型数目少，无法涵 盖所有纠纷；2、不能及时将新增的纠纷类型与已存的纠纷类型区分 开；3、现存的纠纷类型下子目未细化，不能准确体现出纠纷要点。

人民调解案件类型细分种类繁多，文本分类技术可以帮助人们准 确地从海量数据中提取类型特征实现自动分类功能。现有的人民调解 数据主要以短文本为主，短文本存在稀疏性、实时性、海量性和不规 范性等特点。短文本的这些特点使文本分类面临以下难点：1、短文 本特征词少，用传统的基于词条的向量空间模型表示，会造成向量空 间的稀疏，另外词频、词共现频率等信息不能得到充分利用，会丢失 掉词语间潜在的语义关联关系；2、短文本的不规范性，使文本中出 现不规则特征词和分词词典无法识别的未登录词，导致传统文本预处 理和文本表示方法不够准确；3、短文本数据的规模巨大，在分类算 法的选择上往往更倾向于非惰性的学习方法，惰性的学习方法会造成 过高的时间复杂度。

随着短文本数据的大量产生，人们针对短文本的分类技术做了大 量探索和实践。但在人民调解领域(专业性强的短文本)中该技术的 应用仍属空白。专利申请号CN201710686945.7提出了一种组合类降 维算法和加权欠采样SVM算法相结合的短文本分类方法，解决了文本 分类中高纬度稀疏性和类别不平衡的问题，但在多分类准确度上效果不佳。专利申请号CN201510271672.0公开了一种基于卷积神经网络 的短文本分类方法，通过预训练的词表示向量对短文本进行语义扩 展，利用卷积神经网络提取定长的语义特征向量，使其语义特征向量 化表示得到进一步增强，并最终使其分类任务的性能得以改善。但该 方法在垂直领域，很难根据外部辅助数据对语料进行扩充。由于“人 民调解”领域的数据专业性强、内容短、特征抽取难，纠纷不断演变， 本发明提供了一种基于迁移学习和深度学习的文本分类方法。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于迁移学习 和深度学习的人民调解案例分类系统及方法，本发明系统包括数据采 集模块、特征提取模块、特征迁移模块、网络训练模块，系统结构简 单，应用范围广；本发明方法包括构造字符向量矩阵，辅助数据向量 化处理，人民调解数据向量化处理，将向量化后的辅助数据输入到神 经网络中，提取辅助数据特征，将提取的辅助数据特征迁移到向量化 后的人民调解数据中，训练分类模型。本发明方法可以有效的对所有 文本进行转换，不会忽略低频词，维度下降明显，训练速度快，便于 后续的在线迭代优化；同时解决了人民调解领域与辅助领域之间的差异性，满足了特定领域的个性化需求。