基于Spark的海量文本评论情感分析

作     者：王磊 曾诚 奚雪峰 皮洲 顾建伟 卓文婕 陈帅天 WANG Lei;ZENG Cheng;XI Xuefeng;PI Zhou;GU Jianwei;ZHUO Wenjie;CHEN Shuaitian

作者机构：苏州科技大学电子与信息工程学院江苏苏州215009 苏州市虚拟现实智能交互及应用技术重点实验室江苏苏州215009 昆山市公安局指挥中心江苏苏州215300 

基　　金：国家自然科学基金项目(61472264 61472267 61673290) 苏州市科技发展计划(重点实验室SZS201609) 苏州市科技发展计划(产业前瞻性项目SYG201707) 江苏省研究生实践创新计划项目(SJCX17_0681) 2017年江苏省大学生创新创业训练计划资助项目 

出 版 物：《苏州科技大学学报（自然科学版）》 (Journal of Suzhou University of Science and Technology（Natural Science Edition）)

年 卷 期：2018年第35卷第1期

页      码：71-75页

摘      要：为实现对批量评论的情感分析,高效挖掘评论价值,该文设计并实现了基于Spark的文本评论情感分析工具。首先,该文对数据进行预处理,使各类训练数据保持平衡,并使用结巴分词对文本进行切分;其次,利用Wor2Vec模型对分词后的评论进行词向量转换;最后,将转化得到的句子向量作为分类器的输入,训练分类模型。同时,该文还基于C/S架构设计了相关应用程序,实现了批量数据的提交以及结果的快速获取。在利用Wor2Vec模型对文本进行特征提取的情况下,该文比较了几种常见分类器的性能差异,结果表明多层感知器在几种算法的比较中取得了较好的结果,能对文本情感作出较为准确的分类。

主 题 词：Spark 情感分析 支持向量机 多层感知器 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.12084/j.issn.2096-3289.2018.01.014

馆 藏 号：203284843...