Flume配置，初了解Flume

本文主要是介绍Flume配置，初了解Flume，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

本文为大家带来Flume的安装配置，所以我们先来介绍一下Flume

初了解Flume

那么flume首先是一个什么呢？能干些什么呢？怎么用呢？接下来往下看

Flume简介

按官方文档来，Flume就是由Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。它是Apache下的一个孵化项目，主要用于实时采集日志数据。Flume支持在日志系统中定制各类数据发送方，用于收集数据，同时提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。Flume的核心组件是Agent，一个Agent可以连接一个或者多个Agent，可以从一个或者多个Agent上收集数据。多个Agent相互连接，可以建立流作业，在Agent链上，就能将数据从一个位置移动到另一个地方（如HDFS、HBase等）。Flume使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume最初是作为一个日志收集系统而开发的，但它也可以用于收集其他类型的数据，如事件数据等。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统）等多种数据源上收集数据的能力，并支持TCP和UDP等2种模式，以及exec（命令执行）等数据源。Flume是一个灵活的分布式系统，易扩展，高度可定制化。通过部署Flume，可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。无论数据来自什么企业，或是多大量级，Flume都可以提供可靠的数据传输服务。

总的来说，Flume是一个功能强大、易于使用的分布式日志采集、聚合和传输系统，为构建大规模分布式系统提供了高效、可靠、可扩展的数据传输机制。

Flume用途

Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。flume基于流式架构，灵活简单。flume最主要的作用就是：实时读取服务器本地磁盘的数据，将数据写入到HDFS。

Flume基本组件

这里面就有Agent，Agent 是一个JVM进程，它以事件的形式将数据从源头送至目的。是 Flume 数据传输的基本单元，主要有三个部分组成：Source，Channel，Sink。当初的设计思想，主要考虑的是：source 和 sink 之间解耦合，以及异步操作。Agent相当于一个数据（被封装成Event对象）传递员，由三部分构成的传递员

Source：采集组件，用户跟数据源对接，以获取数据；它有各种各样的内置实现；

• Source 是负责接收数据到Flume Agent的组件，采集数据并包装成Event。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy

Channel : 传输通道组件，用于从source将数据传递到sink

• Channnel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许Source 和 Sink 运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。Flume 自带两种Channel：①Memory Channel是内存中的队列。Memory Channel在不需要关系数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器当即或者重启都会导致数据丢失②File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据

Sink：下沉组件，用于往下一级agent 传递数据或者向最终存储系统传递数据。

• Sink 不断地轮询Channel 中的事件且批量地移除他们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Sink是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量时间一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用Channel 提交事务。事务一旦被提交，该 Channel 从自己的内部缓存区删除事件。Sink 组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义

因为Source 到 Channel 是事务性的，Channel 到 Sink 是事务性的，其内部有完善的事务机制。根据 Flume 的架构原理，Flume 是不可能丢失数据的，因此这两个环节不会出现数据的丢失，唯一可能丢失数据的情况是 Channel 采用 memoryChannel，agent 宕机导致数据 丢失，或者 Channel 存储数据已满，导致 Source 不再写入，未写入的数据丢失。

搭建

准备

除Flume安装包，无需再准备别的东西了，接着上一章的内容继续

配置安装

 解压

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/

配置环境变量

#FLUME_HOME
export FLUME_HOME=/opt/module/flume-1.9.0
export PATH=$PATH:$FLUME_HOME/bin

刷新：

source /etc/profile

验证：

flume-ng version

Flume基本命令

启动flume

flume-ng agent -c conf/ -n a1 -f /opt/module/flume-1.9.0/job/net-flume-logger.conf  -Dflume.root.logger=INFO,console

这篇关于Flume配置，初了解Flume的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---