摘要：时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、spark这类MapReduce分布式模型在执行过程中分布式集群节点间的任务比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加,并且会根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。此外,对两表间的不同Join策略从理论和实验两个角度进行了研究并提出了免Join策略。最后通过基于spark分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,该时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。

摘要：随着电商平台的普及,商品推荐系统实现了用户的个性化推荐,帮助用户过滤掉无用的信息,提供更感兴趣的商品,既提升了用户体验,也增加了平台收益,实现了用户和平台的双赢。文章归纳了推荐算法和推荐系统研究中的关键技术,并利用spark技术完成推荐系统的设计。该推荐系统包括离线推荐和实时推荐两大部分。离线推荐为用户提供离线推荐、最近热门商品、历史热门商品和相似商品的推荐结果;实时推荐根据用户的实时评分行为给出实时的推荐结果。系统推荐结果表现良好。

摘要：随着旅游业的发展和数字化进程的加速,智慧旅游已成为旅游业的重要发展方向。智慧旅游大数据中台的建设,能够为旅游业提供更加高效、智能的数据处理和分析能力,帮助旅游企业更好地了解市场需求、优化资源配置和提高服务质量,从而制定更加精准的市场营销策略和产品开发计划。文章将互联网采集和原有有关桂林景区的数据基于Scala语言结合spark读取HBase的数据进行过滤分析和可视化,最终实现了一个对桂林A级景区数据进行分析可视化的平台。该平台功能模块包括景区舆论分析、景区客流量统计、客源分析3个模块,并对A级景区各个维度进行分析排序和景区舆论满意度情况。

摘要：为解决人们“每天不知道吃什么”的烦恼,采用spark分布式处理框架,结合分布式存储数据库(MongoDB)、日志收集系统(Flume)、分布式系统文件(HDFS)等工具,实现对菜品实时评分及特色化推荐。系统包含菜品评分及储存模块、评分数据处理模块、菜品推荐模块、推荐结果展示模块等,其中推荐模块采用协同过滤推荐算法。使用测评方法和指标验证3种推荐模型的有效性,根据测评结果设计并实现以基于物品的推荐模型为主、以基于spark ALS的推荐模型为辅的智能菜品推荐系统。该系统能够快速准确地推荐顾客喜欢的菜品,提高了商家的服务效率和顾客的满意度,可用性较高。

摘要：为解决海量数据情况下学习贝叶斯网络(Bayesian network,BN)结构的算法性能急剧降低问题,基于spark框架设计了一种全流程并行遗传算法用于BN结构学习(简称为sparkGA-BN)。sparkGA-BN包含互信息计算并行化、遗传算子并行化和适应度评分并行化3个部分。互信息并行计算可以高效减少搜索空间;在演化前增加对种群信息与选择信息的广播来对全种群执行选择操作。选择与交叉算子共用选择信息以并行执行,从而高效演化并减少数据落盘时间。对约束和评分两阶段产生的中间数据作记忆化存储,提升数据复用率和全局执行效率。实验结果表明,所提算法在执行效率和学习准确率方面均优于对比算法。

摘要：[研究目的]为解决MapReduce、spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

摘要：大数据BI(Business Intelligence)技术在数据挖掘、数据分析、数据可视化等方面的功能实现较成熟,已广泛应用在制造业、零售业等行业。将大数据BI技术融入智慧工地,建立数据可视化平台,可以解决智慧工地存在的局部“数据孤岛”等问题,让智慧工地的海量数据得到最大价值体现。文章以某大型市政特级资质建筑工程集团为例,采用基于Hadoop+spark的技术架构,以在建的大型地铁市政工程项目为实践,主要论述数据可视化平台架构选型、建立数据仓库、数据ETL、数据可视、spark引擎框架与MapReduce在数据处理性能方面的对比等。构建基于大数据BI技术的智慧工地可视化数据平台,能有效推进智慧工地的开展,提升对工程项目在质量安全、绿色施工、成本管控等方面的管理。

摘要：如何在海量数据集中提高频繁项集的挖掘效率是目前研究的热点.随着数据量的不断增长,使用传统算法产生频繁项集的计算代价依然很高.为此,提出一种基于spark的频繁项集快速挖掘算法(fast mining algorithm of frequent itemset based on spark,Fmafibs),利用位运算速度快的特点,设计了一种新颖的模式增长策略.该算法首先采用位串表达项集,利用位运算来快速生成候选项集;其次,针对超长位串计算效率低的问题,考虑将事务垂直分组处理,将同一事务不同组之间的频繁项集通过连接获得候选项集,最后进行聚合筛选得到最终频繁项集.算法在spark环境下,以频繁项集挖掘领域基准数据集进行实验验证.实验结果表明所提方法在保证挖掘结果准确的同时,有效地提高了挖掘效率.

摘要：随着大数据时代的兴起,数据量不断增长,为从这海量数据中提取有效信息以支持决策管理和业务分析,新闻分析系统变得尤为重要。该项目分为分布式大数据分析和新闻网后台管理两部分。大数据分析部分采用spark等计算框架,结合Zookeeper分布式应用程序协调服务,构建一个具有公开性、针对性、时效性、准确性、真实性的新闻分析系统。系统设计分层体系结构,实现分布式集群架构。同时,新闻网后台管理系统基于Spring Boot和Vue实现,充分用它们的优势,提高网站的访问速度和用户体验,满足网站开发的需求。

摘要：文章分析了智慧高校建设中出现的各类问题及业务需求,并提出了整合校内现有各类数据与系统的解决方案。随后,根据微服务系统架构与大数据分析的要求,重新整合共享数据中心,以适应高校业务系统的开发与应用。最后,通过具体开发案例说明了综合平台在高校自助一站式服务系统中的作用。