作者:EchoZenith Github
一、前置检查(必须)
- 操作系统:Windows 10/11 64 位
Java 8(Flume 1.9/1.10 与 JDK 11 有兼容性坑,建议 1.8)
打开 PowerShell 或 CMD 执行:java -version应出现
1.8.0_xxx字样;如无,请先装 JDK 8 并配置好 JAVA_HOME、Path。不会装可参考上一篇《Windows平台安装Java8教程》。
二、下载与解压
- 官网下载(任选一个镜像):
https://downloads.apache.org/flume/1.11.0/ 解压到无空格目录,例如:
D:\apache-flume-1.11.0-bin解压后目录结构:
├─bin 启动脚本 ├─conf 配置文件 ├─lib 依赖 jar └─docs 文档
三、配置 Windows 环境变量
- 新建系统变量
变量名:FLUME_HOME
变量值:D:\apache-flume-1.11.0-bin 编辑系统变量 Path → 新增两条:
%FLUME_HOME%\bin %FLUME_HOME%\conf- 确认 JAVA_HOME 已存在
变量名:JAVA_HOME
变量值:C:\Java\jdk1.8.0_231(你的实际路径)
四、首次验证(核心 10 秒)
打开 新的 CMD(必须新开,否则读不到变量):
flume-ng version出现以下字样即安装成功:
Flume 1.11.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
...五、运行官方自带模板(快速体验)
进入配置目录:
cd /d %FLUME_HOME%\conf官方模板已带,直接启动:
flume-ng agent ^ --conf conf ^ --conf-file flume-conf.properties.template ^ --name a1 ^ -Dflume.root.logger=INFO,console看到连续输出
Event{ headers:{} body:... }表示 Agent 正常。
六、写一个最小可用案例(监听文件 → 控制台)
新建目录
mkdir D:\flume_demo\logs新建配置
%FLUME_HOME%\conf\demo.conf(注意 Windows 路径双反斜杠):# 组件定义 agent.sources = src1 agent.channels = ch1 agent.sinks = sk1 # 源:监听一个不断追加的文件 agent.sources.src1.type = exec agent.sources.src1.command = tail -F D:\\flume_demo\\logs\\test.log agent.sources.src1.channels = ch1 # 通道:内存 agent.channels.ch1.type = memory agent.channels.ch1.capacity = 1000 agent.channels.ch1.transactionCapacity = 100 # 汇:控制台 agent.sinks.sk1.type = logger agent.sinks.sk1.channel = ch1启动 Agent:
flume-ng agent ^ --conf conf ^ --conf-file conf\demo.conf ^ --name agent ^ -Dflume.root.logger=INFO,console窗口会卡住等待数据。
模拟日志(另开一个 CMD):
echo hello flume >> D:\flume_demo\logs\test.log切回第一个窗口,应能实时打印
hello flume。
七、常见问题速查
| 现象 | 解决 |
|---|---|
flume-ng 不是内部或外部命令 | Path 没配好,重启 CMD 或重启电脑。 |
JAVA_HOME is not set | 系统变量里真的新建 JAVA_HOME,而不是只在 Path 写路径。 |
| 中文路径/空格导致启动失败 | 把 Flume 解压到 D:\apache-flume-1.9.0-bin 这类简单路径。 |
| tail 命令不存在 | 1) Git Bash 自带 tail,可把 C:\Program Files\Git\usr\bin 加入 Path;2) 或用 type nul >> test.log 手动追加。 |
八、下一步
- 把 sink 换成 kafka/hdfs 即可接入生产。
用 flume-env.sh(Windows 下实际读
flume-env.ps1)调 JVM 参数:
在%FLUME_HOME%\conf新建flume-env.ps1:$env:JAVA_OPTS="-Xms512m -Xmx1024m"
至此,Windows 平台 Apache Flume 安装、验证、最小实例已全部跑通,可直接投入开发或学习。祝使用愉快!
评论