flume 安装部署入门_flume home-CSDN博客

本文链接：https://blog.csdn.net/likaiasddsa/article/details/90597688

本文介绍了 Flume 1.9 在 CentOS 7.2 系统上的安装部署过程，包括下载、解压、设置环境变量、配置 JAVA_HOME 等步骤，还说明了系统要求。同时详细讲解了 agent 文件的配置，最后给出启动 agent 和测试的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume 安装部署

环境
centos：7.2
JDK:1.8
Flume:1.9

安装

下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

解压

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /home/hadoop/app/

设置环境变量

vi /etc/profile
##添加
export FLUME_HOME=/home/hadoop/app/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin
##刷新生效
source /etc/profile
##查看变量
echo $FLUME_HOME
/home/hadoop/app/apache-flume-1.9.0-bin

配置JAVA_HOME

cp flume-env.sh.template flume-env.sh
vi flume-env.sh
##添加
export JAVA_HOME="/opt/modules/jdk1.8.0_161"
export PATH= $JAVA_HOME/bin:$ PATH

验证安装完成

在这里插入图片描述

系统要求

1.Java运行时环境 - Java 1.8或更高版本
2.内存 - 源，通道或接收器使用的配置的足够内存
3.磁盘空间 - 通道或接收器使用的配置的足够磁盘空间
4.目录权限 - 代理使用的目录的读/写权限

配置agent 文件

在这里插入图片描述

＃命名此agent上的组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1

＃描述/配置 source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

＃描述sink
a1.sinks.k1.type = logger

＃使用缓冲内存中事件的 channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

＃将source和sink绑定到channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动agent

./flume-ng agent --conf conf --conf-file /home/hadoop/app/apache-flume-1.9.0-bin/conf/flume-conf.properties --name a1 -Dflume.root.logger = INFO,console