首页
关于
Search
1
BiliBili-DL 使用文档
153 阅读
2
Hadoop大数据平台搭建文档
94 阅读
3
Github发布Release教程
55 阅读
4
Windows平台安装Flume教程
51 阅读
5
Windows平台安装Java8教程
14 阅读
默认分类
登录
Search
标签搜索
Github
Windows
大数据
Linux
Hadoop
Git
BiliBili-DL
开源项目
Java
Flume
EchoZenith
累计撰写
5
篇文章
累计收到
0
条评论
首页
栏目
默认分类
页面
关于
搜索到
1
篇与
的结果
Windows平台安装Flume教程
作者:EchoZenith Github一、前置检查(必须)操作系统:Windows 10/11 64 位Java 8(Flume 1.9/1.10 与 JDK 11 有兼容性坑,建议 1.8) 打开 PowerShell 或 CMD 执行:java -version应出现 1.8.0_xxx 字样;如无,请先装 JDK 8 并配置好 JAVA_HOME、Path。不会装可参考上一篇《Windows平台安装Java8教程》。二、下载与解压官网下载(任选一个镜像): https://downloads.apache.org/flume/1.11.0/解压到无空格目录,例如:D:\apache-flume-1.11.0-bin解压后目录结构:├─bin 启动脚本 ├─conf 配置文件 ├─lib 依赖 jar └─docs 文档三、配置 Windows 环境变量新建系统变量 变量名:FLUME_HOME 变量值:D:\apache-flume-1.11.0-bin编辑系统变量 Path → 新增两条:%FLUME_HOME%\bin %FLUME_HOME%\conf确认 JAVA_HOME 已存在 变量名:JAVA_HOME 变量值:C:\Java\jdk1.8.0_231 (你的实际路径)四、首次验证(核心 10 秒)打开 新的 CMD(必须新开,否则读不到变量):flume-ng version出现以下字样即安装成功:Flume 1.11.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git ...五、运行官方自带模板(快速体验)进入配置目录:cd /d %FLUME_HOME%\conf官方模板已带,直接启动:flume-ng agent ^ --conf conf ^ --conf-file flume-conf.properties.template ^ --name a1 ^ -Dflume.root.logger=INFO,console看到连续输出 Event{ headers:{} body:... } 表示 Agent 正常。六、写一个最小可用案例(监听文件 → 控制台)新建目录mkdir D:\flume_demo\logs新建配置 %FLUME_HOME%\conf\demo.conf(注意 Windows 路径双反斜杠):# 组件定义 agent.sources = src1 agent.channels = ch1 agent.sinks = sk1 # 源:监听一个不断追加的文件 agent.sources.src1.type = exec agent.sources.src1.command = tail -F D:\\flume_demo\\logs\\test.log agent.sources.src1.channels = ch1 # 通道:内存 agent.channels.ch1.type = memory agent.channels.ch1.capacity = 1000 agent.channels.ch1.transactionCapacity = 100 # 汇:控制台 agent.sinks.sk1.type = logger agent.sinks.sk1.channel = ch1启动 Agent:flume-ng agent ^ --conf conf ^ --conf-file conf\demo.conf ^ --name agent ^ -Dflume.root.logger=INFO,console窗口会卡住等待数据。模拟日志(另开一个 CMD):echo hello flume >> D:\flume_demo\logs\test.log切回第一个窗口,应能实时打印 hello flume。七、常见问题速查现象解决flume-ng 不是内部或外部命令Path 没配好,重启 CMD 或重启电脑。JAVA_HOME is not set系统变量里真的新建 JAVA_HOME,而不是只在 Path 写路径。中文路径/空格导致启动失败把 Flume 解压到 D:\apache-flume-1.9.0-bin 这类简单路径。tail 命令不存在1) Git Bash 自带 tail,可把 C:\Program Files\Git\usr\bin 加入 Path;2) 或用 type nul >> test.log 手动追加。八、下一步把 sink 换成 kafka/hdfs 即可接入生产。用 flume-env.sh(Windows 下实际读 flume-env.ps1)调 JVM 参数: 在 %FLUME_HOME%\conf 新建 flume-env.ps1:$env:JAVA_OPTS="-Xms512m -Xmx1024m"至此,Windows 平台 Apache Flume 安装、验证、最小实例已全部跑通,可直接投入开发或学习。祝使用愉快!
2025年09月26日
51 阅读
0 评论
2 点赞