摘要：Using statistically downscaled atmospheric forcing, we performed a numerical investigation to evaluate future climate's impact on storm surges along the Gulf of Mexico and U.S. east coast. The focus is on the impact of climatic changes in wind pattern and surface pressure while neglecting sea level rise and other factors. We adapted the regional ocean model system(ROMS) to the study region with a mesh grid size of 7–10 km in horizontal and 18 vertical layers. The model was validated by a hindcast of the coastal sea levels in the winter of 2008. Model's robustness was confirmed by the good agreement between model-simulated and observed sea levels at 37 tidal gages. Two 10-year forecasts, one for the IPCC Pre-Industry(PI) and the other for the A1 FI scenario, were conducted. The differences in model-simulated surge heights under the two climate scenarios were analyzed. We identified three types of responses in extreme surge heights to future climate: a clear decrease in Middle Atlantic Bight, an increase in the western Gulf of Mexico, and non-significant response for the remaining area. Such spatial pattern is also consistent with previous projections of sea surface winds and ocean wave heights.

摘要：针对智能电网广域测量系统(WAMS)数据的安全问题,分析了现有数据加密方案的特点。结合WAMS数据量大、实时性要求高的特点,引入storm分布式实时计算平台进行WAMS数据的实时加密处理。设计了基于云平台的WAMS数据存储系统,并在此系统之上设计了基于storm框架的高级加密标准(AES)算法。该算法将加密过程分为数据接入、快速并行数据加密及加密结果云存储等几个过程,并在storm预定义的编程组件中进行了编程实现。通过对比分析,验证了所提出方案具有低延迟、加密效率高等特点。

摘要：针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种storm平台下工作节点的内存电压调控节能策略(WNDVR-storm,energy-efficient strategy for work node by dram voltage regulation in storm),该策略针对是否有工作节点位于拓扑执行的非关键路径上设计了2种节能算法。最后根据系统数据处理及传输的制约条件确定工作节点CPU使用率与数据传输量的阈值,并对选定的工作节点内存电压做出动态调整。实验结果表明,该策略能有效降低能耗,且制约条件越小节能效率越高。

摘要：针对storm存在低效率、高能耗的问题,通过分析storm平台的基本框架与拓扑结构,设计了资源约束模型、最优线程数据重组原则和节点降压原则,并在此基础上提出了基于storm平台的数据迁移合并节能策略(DMM-storm),包括资源约束算法、数据迁移合并算法和节点降压算法。其中资源约束算法根据资源约束模型,判断工作节点是否允许数据的迁移;数据迁移合并算法根据最优线程数据重组原则,设计了最优的线程数据迁移方法;节点降压算法根据节点降压限制条件,降低了工作节点的电压。实验结果表明,与现有的节能策略相比,执行DMM-storm在不影响集群性能的前提下,有效降低了能耗。

摘要：作为目前主流的大数据流式计算平台之一,storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in storm,DR-storm),包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量,并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储,并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外,DR-storm通过备份节点内存恢复集群拓扑内的数据,并根据大数据流式计算的系统延迟与能效评估DR-storm.实验结果表明:与现有研究成果相比,DR-storm在减少系统计算延迟、降低集群功率的同时,有效节约了能耗.

摘要：为了提高流数据聚类效率,文中基于经典流聚类算法Clu Stream的思想和storm的计算架构,设计了一种分布式实时流聚类算法(distributed real time clustering algorithm for stream data,DRClu Stream)。该算法运用滑动时间窗口机制实现多粒度的数据存储;将流数据的在线微聚类部分拆分成局部和全局两个部分做分布式计算,第一部分由多个线程并行进行微簇的局部增量更新,第二部分合并微簇的局部增量结果来更新全局微簇。还设计了DRClu Stream算法基于storm的实现方案,通过使用消息中间件Kafka和合理部署storm的拓扑对DRClu Stream算法进行实现。性能分析及实验结果表明:DRClu Stream算法的聚类精度与K-Means相近,且随着local节点(local bolt线程)的增加聚类精度保持稳定,而计算效率呈近线性提升。

摘要：奶牛发情识别是奶牛场生产活动中的重要组成部分,直接关系到奶农的经济效益,而现有的奶牛发情识别方法存在效率低、时效性差、准确率低等问题。针对这些问题,基于大数据实时流式框架storm设计并实现了奶牛发情实时监测系统。利用阿菲金二代计步器获取奶牛体征参数,通过无线局域网传输到服务器,采用基于storm的实时流式框架进行处理,Java Web对处理后的体征参数可视化展示;以2 h作为单个时间片,6 h作为一个情期显著滑动窗口,选取窗口内连续3个时间片单元的步数s1、s2、s3、累积静卧时间t1、累积起卧次数b和累积站立时间t2为特征向量,建立了基于storm的奶牛发情SVM预测模型。测试结果表明,设计的系统平均延迟在2 s内,平均准确率在98.9%以上,奶牛发情预测准确率为85.71%,奶牛发情预测周期缩短为6 h。该系统为奶牛发情预测提供了有效工具,对其他大型动物的监测也具有一定的指导意义。

摘要：近年来,随着Web 2.0和具有位置感知能力的移动计算设备的普及应用,带来了大量含有时空语义的地理大数据。在这个背景下,以地图厂商人工方式和半自动方式更新地名地址库为基础的传统地理编码服务,已难以满足新的应用需求。本文提出一种地理大数据驱动的自适应地理编码引擎的构建思路和方法,通过引入实时计算和流式计算平台storm,实现对网络中的多源地理大数据的爬取与实时处理,加速地名地址库及相关资源的生成与更新过程,并给出了相适应的地理编码匹配方法。在实时流式计算框架基础上,通过JTS Topology Suite实现流式并行的空间操作,设计并实现了基于storm的地理编码引擎原型系统,满足多源地理大数据的高效处理和地理编码要求。实验结果表明,该引擎通过实时流式处理可加速地址库的扩充与更新过程,并且利用地址库持续更新的方法,提升了地理编码的匹配率和定位准确度。

摘要：针对现有平台处理海量数据实时响应能力普遍较差的问题,引入storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。

摘要：移动大数据环境下,传统基于位置服务LBS技术面临来自系统扩展性、性能等方面的挑战。首先针对LBS应用的特点,提出了基于storm的查询框架。然后结合基于storm的LBS查询框架,设计并实现了并行连续范围查询算法,优化查询性能。针对分布式环境中的一致性问题,设计使用基于ZooKeeper的分布式锁服务,保证查询结果的正确性。进一步,针对基于storm并行连续范围查询算法中存在访问数据库开销较大的问题,提出了基于TimeCacheMap的缓存优化算法及两种缓存策略,减少了访问数据库的开销,提高了查询效率。