摘要：随着互联网的普及和人们不断增长的消费需求,电子商务平台已成为人们生活不可或缺的一部分,由此产生大量数据。基于Hadoop,设计并实现一个离线电商数据分析系统,从系统架构、数据采集、传输、存储、分析处理和可视化等方面作了介绍,系统具有一定的数据分析能力,能将原本无用的数据进行整理利用,发挥数据本身的价值。

摘要：随着各类业务系统接入数据量的爆炸式增长,传统的基于负载均衡器的数据分流方案已无法满足海量数据业务场景的要求。介绍了一种适用于大数据场景下的负载均衡方案,并讨论了和传统方式相比所具备的主要优势。

摘要：针对分布式系统中的数据收集,提出了一种基于flume的XML数据自动收集系统。根据实际需求,系统设计了一种新型的多层星状拓扑结构,以满足数据收集实时性的要求。该系统能够自动检测指定存储位置的XML数据更新,解析XML文本后存储到HBase数据库中。在测试中,该系统中各机器的平均处理速度能够达到550 Kb/s,系统总处理平均速度能够达到1 650 Kb/s。

摘要：为用户提供高质量的网络覆盖是运营商不变的追求,随着4G业务的发展,作为网络质量分析重要依据的MR数据的数据体量也呈现出井喷式的增长势头。传统的以FTP技术为基础的MR数据采集方案面对越来越高的数据量显得力不从心。针对MR数据采集的业务场景,提出了基于flume技术的数据采集实现方案,并针对海量数据的运行环境现行方案进行了对比。

摘要：互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于flume的分布式的日志采集分析系统方案具有可行性。

摘要：基于Apache flume的开源日志收集系统,设计并实现了一个适用于异构网站平台间的分布式日志收集系统。该系统将多个网站的日志集中存储,为进行下一步的日志分析提供了数据支持,也为云平台下的网站日志收集方案提供了参考依据。

摘要：针对大数据采集工作面临的数据来源多样性、异构性、不稳定性等复杂问题,提出一种基于flume、Kafka、HDFS等大数据组件设计的一个稳定可靠地分布式数据采集系统来完成多源异构数据的采集工作。使用flume提供的source组件以及支持自定义source组件完成多样异构数据源的数据采集工作,使用Kafka来充当channel角色,借助其分布式特性提升单个channel的稳定性,使用HDFS的备份功能,提高数据存储的可靠性,同时使用sink processors来实现数据写入HDFS的故障转移和负载均衡。结果表明使用flume、Kafka、HDFS能够完成异构多源数据的采集工作。

摘要：随着国产数据库技术的发展,电网企业对相应数据库及中间件的应用逐步增多,业务中产生的大量的运维信息对国产数据库的自动化运维技术要求也随之提高。针对国产数据库和中间件产生的海量运维数据和日志,文中提出一种基于Ansible和flume的高效数据采集系统。该系统通过调用Python脚本的方式定期从Ansible Inventory中拉取各主机的运行状态信息,同时由flume配置采集agent到各数据库和中间件服务器中,进行日志数据的采集、预处理和下放,并将数据输出到数据库中,实现对数据库和中间件运行数据的自动化采集与管理。经系统测试,该系统可以高效完成多线程Web访问,并在数据采集方面表现出良好的性能。

摘要：利用OPC接口采集某工业企业的工程试制平台内设备产生的实时数据,并通过大数据组件flume将数据归档至OpenTSDB时序数据库,从而完成了针对工程试制平台日常生产的过程数据采集和基于大数据平台的数据归档。该数据采集设计方案为上游的工业制造数据分析和实时监控系统提供了统一粒度的基础数据,实现了卷烟生产中工程试制平台与工业数据平台在数据层完整协同的设计目标。

摘要：在当前大数据技术蓬勃发展的时代,人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多,任务处理耦合紧但系统部署分散等问题,文中基于Spark Streaming的流式计算框架,研究使用flume解析收集自动站原始数据,在Spark Streaming中设计融入自动站数据质控算法,最终通过对分布式数据库存储的表设计,使气象自动站数据具备高效率、高质量、高可靠的应用服务能力。性能测试结果表明,基于Spark Streaming的气象自动站数据实时流处理与存储系统,数据从文件采集、解码、流处理至入库的全流程能够在秒级完成,TB级数据查询响应为毫秒级,加权查询为秒级,完全满足自动站数据业务应用需求,从而为进一步提高气象自动站数据质量与服务水平提供基础支撑。