摘要：工业大数据具有规模庞大、业务复杂等的特点,为数据存储、查询和分析计算带了难度。为了优化工业大数据存储管理,提高系统存储、查询、分析效率,利用基于Hadoop技术针对业务库和实时监控数据库的存储管理进行优化。系统设计业务库的集群化同步存储架构,基于Maxwell组件将MySQL业务库数据实时同步到HBase,实现业务库的读写分离、提高数据查询和数据分析的效率;其次,基于Kafka和flink对业务库同步数据进行实时计算处理,实现高并发数据写入场景下的低延迟响应;最后,实验进行了HBase和MySQL的性能对比测试,结果表明本系统在大规模数据场景下具有更好的计算效率表现,能够有效进行工业大数据分析存储。

摘要：本项目依托道路卡口、电子警察车辆数据,实现了基于过车数据的交通大数据分析系统。以Kafka作为数据总线、flink实时流计算、GaussDB为存储、Elasticsearch为搜索引擎,结合GIS等可视化展示方式,实现流量统计、实时路况、热力图、轨迹跟踪、流量平衡分析、在网车辆分析、最优路径分析、车辆落脚点、路线偏好分析等为交通管理提供了系列数据支撑。

摘要：传统的k-means算法存在两个主要问题:初始聚类中心的随机选取和在处理大规模数据集时的低运算效率。为了解决这些问题,提出利用鲸鱼优化算法来选取最佳的初始聚类中心,在改进后的算法中结合分布式计算框架flink实现并行执行。为了进一步优化聚类效果和提高算法的可靠性,利用孤立森林算法进行异常数据检测,对数据进行分域处理。实验选取UCI机器学习库中的Iris扩张数据集,优化后的k-means算法的轮廓系数指数提升约23%,DBI指数下降约9%,聚类效果有显著提升。

摘要：随着移动互联网技术的进步,用户对网购参与程度的提高,电商企业每天、甚至每小时都在收获大量用户行为日志和业务数据,传统实时计算系统已无法满足对这些日志和业务数据进行在线分析和实时性统计。在该项需求的启发下,基于分层设计理念对用户行为数据实时处理的基础型架构进行研究,以期在面对大量实时计算时,通过沉淀中间结果的方式提高计算复用性,降低开发成本。该架构采用实时分析型列式数据库ClickHouse和flink实时流式处理框架作为核心技术,通过实时计算获得天级、分钟级、秒级甚至亚秒级数据,便于企业对业务进行快速反应和调整,满足新时代下的实时计算需求。