摘要：随着信息社会的快速发展,网络数据正在指数级地增长,其中大部分都是文本数据.如何在有限的时间内完成大规模的文本数据挖掘分析,已成为当前的热点研究问题.文本预处理是整个挖掘过程中最耗时的环节,分布式并行处理可以缩短该过程的挖掘时间.设计分析了基于云计算Hadoop平台的文本预处理MapReduce并行化过程,并对预处理的Map函数和Reduce函数进行了详细介绍.通过实验证明,和单节点运行相比,改进后的并行化方法具有更好的性能.

摘要：围绕标准文本的词性标注,针对通用词性标注集对标准文本标注不适配的问题,基于词性标注任务研究现状,提出一种针对标准文本特点的词性标注集,去除标准语境下不常用的词性类别,新增专有名词的相关设计。该设计目前应用于标准文本内容理解、知识提取等任务,提高了标注结果的可用性,并为后续文本处理任务提供数据基础。

摘要：文本挖掘是数据挖掘技术的一个重要方面,本文根据句法规则的特征,利用文本挖掘技术,提出基于句法规则的文本知识挖掘设计模型,从数据准备、句法规则构造、文本预处理、文本知识挖掘、挖掘结果评价等方面对工作原理进行了分析,重点阐述了句法规则的构造过程,最后通过实验验证了该模型,该设计对实现文本知识的智能化挖掘具有一定的研究意义和应用价值。

摘要：为了解决传统的文本极性智能判断方法判断结果准确率和召回率普遍较低的问题,基于改进深度学习算法研究一种新的文本极性智能判断方法。在CNN结构基础上设计一种新的深度学习算法模型,模型由输入层、输出层、采集层、连接层、卷积层五部分构成。使用该模型对文本进行智能判断,判断过程共有五步,分别是文本预处理、情感词提取、表情符号提取、感情倾向值计算和情感最终倾向值分析。为检测所提方法的有效性以及优越性,与传统判断方法进行实验对比,结果表明,基于改进深度学习算法的文本极性智能判断方法判断的准确率和召回率更高,发展空间更广阔。

摘要：文章面向协同创新模式下中小企业科技需求关键词的提取技术,以企业科技需求文本为基础,对文本进行预处理,并使用改进的潜在狄利克雷分配模型提取关键词,最后通过实际案例场景来验证方法的可行性和有效性。实验结果表明,该算法提取的关键词综合评价F值高于传统算法,说明该算法是有效的。

摘要：新一代信息技术的兴起以及互联网产业的飞速发展使得数据量呈爆炸式增长。为满足数十亿用户从海量数据中快速获取有效信息的需求,提升搜索引擎的检索质量以及查询效率具有重要意义,同时也面临挑战。一方面,用户的查询词日益复杂,语言词汇形态变异的特点导致检索词变得多样化,而现有词干提取算法普遍存在词干提取不足、词干提取准确率不高等问题;另一方面,在海量数据中检索到满足用户查询要求的文档结果是一项非常耗时的任务,而现有将文档划分到多个服务器处理查询延迟的方法常常会出现尾延迟问题。针对以上问题,在文本预处理阶段,设计了词形规范化算法APS,对规则函数进行重编码,优化了特征词提取;在相关排序阶段,设计了基于一次一得分查询处理策略的随时排序算法SAR,在给定时间预算处理完指定数量倒排段后能够提前终止查询过程,大大减少了查询评估时间。在多个真实数据集上进行了实验,验证了APS算法对于提高词干提取准确率的有效性以及SAR算法对于控制查询延迟的真实性。

摘要：面对海量的文本信息,有效的存储与管理、快速和准确的分类从而提取有用信息成为了当前的一个研究方向。文本挖掘和信息检索的重要基础是自动化文本分类技术,朴素贝叶斯分类器是机器学习在文本自动化分类领域重要的一种分类器。朴素贝叶斯分类快速而精确,只需扫描一次数据集,具有较强的抗干扰能力。介绍了自动化文本分类的相关背景,论述了自动化文本分类技术的一般流程,设计和实现了一个基于朴素贝叶斯的自动化中文文本分类器,并通过两个实验对分类器进行了测试与验证。实验结果表明,该分类器具有良好的分类效果和分类速度。

摘要：随着数据分析与数据挖掘行业的兴起,职场中涌现出许多与大数据相关的职位。为了深入分析与预测大数据领域人才的需求现状以及未来的发展趋势,基于Python的Scrapy框架设计网络爬虫程序,对招聘网站发布的招聘信息进行采集和预处理,通过构建与大数据相关的新兴职业类型词典,并把关联规则挖掘算法应用到大数据领域人才招聘信息的挖掘中去,从地域特征、学历特征、技能特征、企业规模和性质、薪资水平等多个角度对大数据领域人才需求进行分析。研究表明,通过基于Apriori的关联规则算法对网络招聘信息的挖掘,能够有效实现大数据领域人才的需求分析与预测。