Windows平台安装Flume教程
侧边栏壁纸
  • 累计撰写 5 篇文章
  • 累计收到 0 条评论

Windows平台安装Flume教程

EchoZenith
2025-09-26 / 0 评论 / 51 阅读 / 正在检测是否收录...

作者:EchoZenith Github


一、前置检查(必须)

  1. 操作系统:Windows 10/11 64 位
  2. Java 8(Flume 1.9/1.10 与 JDK 11 有兼容性坑,建议 1.8)
    打开 PowerShell 或 CMD 执行:

    java -version

    应出现 1.8.0_xxx 字样;如无,请先装 JDK 8 并配置好 JAVA_HOMEPath

    不会装可参考上一篇《Windows平台安装Java8教程》。

二、下载与解压

  1. 官网下载(任选一个镜像):
    https://downloads.apache.org/flume/1.11.0/
  2. 解压到无空格目录,例如:

    D:\apache-flume-1.11.0-bin

    解压后目录结构:

    ├─bin          启动脚本
    ├─conf         配置文件
    ├─lib          依赖 jar
    └─docs         文档

三、配置 Windows 环境变量

  1. 新建系统变量
    变量名:FLUME_HOME
    变量值:D:\apache-flume-1.11.0-bin
  2. 编辑系统变量 Path → 新增两条:

    %FLUME_HOME%\bin
    %FLUME_HOME%\conf
  3. 确认 JAVA_HOME 已存在
    变量名:JAVA_HOME
    变量值:C:\Java\jdk1.8.0_231 (你的实际路径)

四、首次验证(核心 10 秒)

打开 新的 CMD(必须新开,否则读不到变量):

flume-ng version

出现以下字样即安装成功:

Flume 1.11.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
...

五、运行官方自带模板(快速体验)

  1. 进入配置目录:

    cd /d %FLUME_HOME%\conf
  2. 官方模板已带,直接启动:

    flume-ng agent ^
      --conf conf ^
      --conf-file flume-conf.properties.template ^
      --name a1 ^
      -Dflume.root.logger=INFO,console

    看到连续输出 Event{ headers:{} body:... } 表示 Agent 正常。


六、写一个最小可用案例(监听文件 → 控制台)

  1. 新建目录

    mkdir D:\flume_demo\logs
  2. 新建配置 %FLUME_HOME%\conf\demo.conf(注意 Windows 路径双反斜杠)

    # 组件定义
    agent.sources  = src1
    agent.channels = ch1
    agent.sinks    = sk1
    
    # 源:监听一个不断追加的文件
    agent.sources.src1.type = exec
    agent.sources.src1.command = tail -F D:\\flume_demo\\logs\\test.log
    agent.sources.src1.channels = ch1
    
    # 通道:内存
    agent.channels.ch1.type = memory
    agent.channels.ch1.capacity = 1000
    agent.channels.ch1.transactionCapacity = 100
    
    # 汇:控制台
    agent.sinks.sk1.type = logger
    agent.sinks.sk1.channel = ch1
  3. 启动 Agent

    flume-ng agent ^
      --conf conf ^
      --conf-file conf\demo.conf ^
      --name agent ^
      -Dflume.root.logger=INFO,console

    窗口会卡住等待数据。

  4. 模拟日志(另开一个 CMD):

    echo hello flume >> D:\flume_demo\logs\test.log

    切回第一个窗口,应能实时打印 hello flume


七、常见问题速查

现象解决
flume-ng 不是内部或外部命令Path 没配好,重启 CMD 或重启电脑。
JAVA_HOME is not set系统变量里真的新建 JAVA_HOME,而不是只在 Path 写路径。
中文路径/空格导致启动失败把 Flume 解压到 D:\apache-flume-1.9.0-bin 这类简单路径。
tail 命令不存在1) Git Bash 自带 tail,可把 C:\Program Files\Git\usr\bin 加入 Path;
2) 或用 type nul >> test.log 手动追加。

八、下一步

  • sink 换成 kafka/hdfs 即可接入生产。
  • flume-env.sh(Windows 下实际读 flume-env.ps1)调 JVM 参数:
    %FLUME_HOME%\conf 新建 flume-env.ps1

    $env:JAVA_OPTS="-Xms512m -Xmx1024m"

至此,Windows 平台 Apache Flume 安装、验证、最小实例已全部跑通,可直接投入开发或学习。祝使用愉快!

2

评论

博主关闭了所有页面的评论