首页
关于
Search
1
BiliBili-DL 使用文档
153 阅读
2
Hadoop大数据平台搭建文档
94 阅读
3
Github发布Release教程
55 阅读
4
Windows平台安装Flume教程
51 阅读
5
Windows平台安装Java8教程
14 阅读
默认分类
登录
Search
标签搜索
Github
Windows
大数据
Linux
Hadoop
Git
BiliBili-DL
开源项目
Java
Flume
EchoZenith
累计撰写
5
篇文章
累计收到
0
条评论
首页
栏目
默认分类
页面
关于
搜索到
5
篇与
的结果
Windows平台安装Flume教程
作者:EchoZenith Github一、前置检查(必须)操作系统:Windows 10/11 64 位Java 8(Flume 1.9/1.10 与 JDK 11 有兼容性坑,建议 1.8) 打开 PowerShell 或 CMD 执行:java -version应出现 1.8.0_xxx 字样;如无,请先装 JDK 8 并配置好 JAVA_HOME、Path。不会装可参考上一篇《Windows平台安装Java8教程》。二、下载与解压官网下载(任选一个镜像): https://downloads.apache.org/flume/1.11.0/解压到无空格目录,例如:D:\apache-flume-1.11.0-bin解压后目录结构:├─bin 启动脚本 ├─conf 配置文件 ├─lib 依赖 jar └─docs 文档三、配置 Windows 环境变量新建系统变量 变量名:FLUME_HOME 变量值:D:\apache-flume-1.11.0-bin编辑系统变量 Path → 新增两条:%FLUME_HOME%\bin %FLUME_HOME%\conf确认 JAVA_HOME 已存在 变量名:JAVA_HOME 变量值:C:\Java\jdk1.8.0_231 (你的实际路径)四、首次验证(核心 10 秒)打开 新的 CMD(必须新开,否则读不到变量):flume-ng version出现以下字样即安装成功:Flume 1.11.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git ...五、运行官方自带模板(快速体验)进入配置目录:cd /d %FLUME_HOME%\conf官方模板已带,直接启动:flume-ng agent ^ --conf conf ^ --conf-file flume-conf.properties.template ^ --name a1 ^ -Dflume.root.logger=INFO,console看到连续输出 Event{ headers:{} body:... } 表示 Agent 正常。六、写一个最小可用案例(监听文件 → 控制台)新建目录mkdir D:\flume_demo\logs新建配置 %FLUME_HOME%\conf\demo.conf(注意 Windows 路径双反斜杠):# 组件定义 agent.sources = src1 agent.channels = ch1 agent.sinks = sk1 # 源:监听一个不断追加的文件 agent.sources.src1.type = exec agent.sources.src1.command = tail -F D:\\flume_demo\\logs\\test.log agent.sources.src1.channels = ch1 # 通道:内存 agent.channels.ch1.type = memory agent.channels.ch1.capacity = 1000 agent.channels.ch1.transactionCapacity = 100 # 汇:控制台 agent.sinks.sk1.type = logger agent.sinks.sk1.channel = ch1启动 Agent:flume-ng agent ^ --conf conf ^ --conf-file conf\demo.conf ^ --name agent ^ -Dflume.root.logger=INFO,console窗口会卡住等待数据。模拟日志(另开一个 CMD):echo hello flume >> D:\flume_demo\logs\test.log切回第一个窗口,应能实时打印 hello flume。七、常见问题速查现象解决flume-ng 不是内部或外部命令Path 没配好,重启 CMD 或重启电脑。JAVA_HOME is not set系统变量里真的新建 JAVA_HOME,而不是只在 Path 写路径。中文路径/空格导致启动失败把 Flume 解压到 D:\apache-flume-1.9.0-bin 这类简单路径。tail 命令不存在1) Git Bash 自带 tail,可把 C:\Program Files\Git\usr\bin 加入 Path;2) 或用 type nul >> test.log 手动追加。八、下一步把 sink 换成 kafka/hdfs 即可接入生产。用 flume-env.sh(Windows 下实际读 flume-env.ps1)调 JVM 参数: 在 %FLUME_HOME%\conf 新建 flume-env.ps1:$env:JAVA_OPTS="-Xms512m -Xmx1024m"至此,Windows 平台 Apache Flume 安装、验证、最小实例已全部跑通,可直接投入开发或学习。祝使用愉快!
2025年09月26日
51 阅读
0 评论
2 点赞
Windows平台安装Java8教程
作者:EchoZenith Github一、准备工作确认系统位数 右键“此电脑 → 属性”,查看是 64 位还是 32 位,下载对应版本 JDK。获取安装包 官网地址(需注册 Oracle 账号): https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html 选择 Windows x64(或 x86)版:jdk-8uXXX-windows-x64.exe二、图形界面安装(以 8u231 为例)双击 jdk-8u231-windows-x64.exe → 下一步。可选功能 界面保持默认(公共 JRE 会一并装上)。安装路径 建议改为 无空格目录,例如C:\Java\jdk1.8.0_231记下该路径,后面配置环境变量要用。继续下一步直至完成。三、配置系统环境变量打开配置窗口 Win10/11:开始菜单搜索“编辑系统环境变量” → “环境变量(N)…”新建 JAVA_HOME(系统变量) 变量名:JAVA_HOME 变量值:C:\Java\jdk1.8.0_231 (与你刚才的安装路径保持一致)新建 CLASSPATH(系统变量) 变量名:CLASSPATH 变量值:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;注意最前面有一个英文句点和分号。编辑 Path(系统变量里选中 Path → 编辑) 新建两条记录:%JAVA_HOME%\bin %JAVA_HOME%\jre\bin确认 → 逐级保存。四、验证安装打开新的 命令提示符(必须新开,否则读不到新变量)。依次输入:java -version javac -version echo %JAVA_HOME%正常应分别返回:java version "1.8.0_231" Java(TM) SE Runtime Environment ... javac 1.8.0_231 C:\Java\jdk1.8.0_231若三条都正常,则 Java 安装与配置全部完成;后续可直接安装 Flume 或其他 Hadoop 生态组件。
2025年09月26日
14 阅读
0 评论
2 点赞
BiliBili-DL 使用文档
作者:EchoZenith Github以下是一份关于 BiliBili-DL 的使用文档,详细介绍如何安装和使用该项目来下载 B站视频。BiliBili-DL 使用文档1. 项目简介BiliBili-DL 是一个开源工具,用于下载 B站(Bilibili)视频。它提供了两种语言版本:Node.js 和 Python,用户可以根据自己的需求选择合适的版本进行使用。2. 安装前的准备工作2.1 安装 FFmpegBiliBili-DL 需要 ffmpeg 来处理视频文件。请确保在你的系统中安装了 ffmpeg,并将其添加到环境变量中。以下是不同操作系统的安装方法:Windows 用户下载 FFmpeg Windows 版本。解压下载的文件到一个目录(例如 C:\ffmpeg)。将 C:\ffmpeg\bin 添加到系统的环境变量 PATH 中。打开命令提示符,运行以下命令以验证安装:ffmpeg -version如果安装成功,你会看到 FFmpeg 的版本信息。macOS 用户使用 Homebrew 安装 FFmpeg:brew install ffmpeg验证安装:ffmpeg -versionLinux 用户使用包管理器安装 FFmpeg:Ubuntu/Debian:sudo apt update sudo apt install ffmpegCentOS:sudo yum install ffmpegArch Linux:sudo pacman -S ffmpeg验证安装:ffmpeg -version3. 安装与使用3.1 Node.js 版本安装步骤克隆项目:git clone https://github.com/EchoZenith/BiliBili-DL.git cd BiliBili-DL/ git checkout node安装依赖:npm install运行程序:node run start3.2 Python 版本安装步骤克隆项目:git clone https://github.com/EchoZenith/BiliBili-DL.git cd BiliBili-DL/ git checkout python安装依赖:pip install -r requirements.txt运行程序:python login.py # 可选 登录获取Cookie python main.py4. 打包为可执行文件(Python 版本)为了方便在没有 Python 环境的系统上运行工具,可以使用 PyInstaller 将 Python 版本打包为独立的 .exe 文件。打包步骤安装 PyInstaller:pip install pyinstaller打包主程序:pyinstaller -D -i "BiliBili-DL.ico" --onefile --name="BiliBili下载" main.py打包登录程序(如果需要):pyinstaller -D -i "BiliBili-DL.ico" --onefile --name="二维码登录" login.py查找生成的文件:打包完成后,生成的 .exe 文件位于 dist 文件夹中。5. 使用指南5.1 命令行界面运行程序后,你将看到一个命令行界面,提示你输入 B站视频的链接。输入有效的视频链接后,程序将自动解析并开始下载。5.2 支持的清晰度超清:4K、1080P60 等。高清:1080p、720p 等。标清:480p、360p 等。程序会根据视频的实际可用清晰度进行下载。5.3 批量下载如果你需要下载多个视频,可以通过以下方式:将多个视频链接保存到一个文本文件中(每行一个链接)。使用-file 文件名。python main.py -file 文件名6. 注意事项合法使用:本工具仅供学习和研究目的使用。请遵守 B站的使用条款,不要用于非法用途。链接有效性:请确保输入的视频链接是有效的 B站视频页面链接。依赖更新:请定期更新项目依赖,以确保工具的正常运行。7. 支持平台WindowsmacOSLinux8. 贡献代码如果你有任何改进或新功能的想法,欢迎贡献代码!以下是贡献步骤:Fork 本项目。创建一个新的分支:git checkout -b feature/your-feature-name提交你的更改:git commit -m "Add some feature"推送到你的分支:git push origin feature/your-feature-name提交 Pull Request。9. 联系与反馈如果你在使用过程中遇到问题,或者有任何建议,请通过以下方式联系我们:提交 Issue。发送邮件至:EchoZenith@163.com。感谢你使用 BiliBili-DL!希望这份使用文档能帮助你顺利使用 BiliBili-DL 工具。如果有任何问题,请随时参考项目的 GitHub 页面或联系项目维护者。
2025年03月01日
153 阅读
0 评论
3 点赞
2025-02-28
Github发布Release教程
作者:EchoZenith GithubGithub发布Release教程本地仓库:首先需要在本地仓库创建一个新分支,例如:release-v1.0.0git checkout -b release-v1.0.0然后将该分支提交到远程仓库中git push origin release-v1.0.0在本地创建一个Taggit tag -a release-v1.0.0 -m "release-v1.0.0"把这个Tag推送到远程仓库中即可git push origin refs/tags/release-v1.0.0Github:在仓库的右侧,可以看到一个 Release 标志点击 Create a new release 创建一个新的发布选择刚刚创建的Tag填写发布的标题填写发布的简介把项目拖拽上传点击发布 Release
2025年02月28日
55 阅读
0 评论
3 点赞
2024-03-25
Hadoop大数据平台搭建文档
作者:EchoZenith Github一、背景介绍随着中国数字化转型战略的推进,传统通信行业正面临 着数字化转型的挑战和机遇;用户对通信服务的需求已经发 生了根本性的变化,通信运营商正在通过技术创新和服务升 级来满足这些需求;数字化转型涉及到网络建设、数据管理、 服务创新等方面,大数据技术成为关键驱动力之一。为了应对这一转型,我们要求参赛者搭建通信行业大数 据分析平台,并利用 Hive 数仓技术和 Spark 计算引擎对通 信用户行为数据进行操作和分析;通过这样的平台,可以快 速处理和挖掘海量数据,得出有价值的洞察和分析结果。同时,在展示数据分析结果方面,我们要求参赛者结合 前端可视化框架 ECharts 和 Python 可视化库 pyecharts,创建交互式的数据可视化图表;这些图表能够直观地展示数据分析结果,帮助管理者更好地决策企业的发展战略,并对销 售、营销、客服和技术等部门的目标策略进行全面部署;通 过数据可视化,销售部门可以了解产品销售趋势和市场份额;营销部门可以优化营销活动和广告投放策略;客服部门可以提供更好的客户服务;技术部门可以进行网络优化和故障排查。二、模块一:平台搭建与运维(一)任务一:大数据平台搭建本模块需要使用 root 用户完成相关配置;所有组件均 在 /root/software 目录下。1. 子任务一:基础环境准备提示:master、slave1、slave2三台节点都需要安装JDK(1) 将JDK安装包解压到/root/software目录下;tar -zxvf /root/software/package/jdk-8u212-linux-x64.tar.gz -C /root/software(2) 在“/etc/profile”文件中配置JDK环境变量JAVA_HOME和PATH的值,并让配置文件立即生效;在/etc/profile文件末尾添加:export JAVA_HOME=/root/software/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin保存退出后使用命令立即执行source /etc/profile(3) 查看JDK版本,检测JDK是否安装成功。 在master节点操作javac 或 java -version(4) 在master上生成SSH密钥对。ssh-keygen -t rsa(5) 将master上的公钥拷贝到slave1和slave2上; 在 master 上通过 SSH 连接 slave1 和 slave2 来验证。先分别修改hostnamehostnamectl set-hostname master hostnamectl set-hostname slave1 hostnamectl set-hostname slave2使用命令exec bash刷新终端再修改/etc/hosts文件(注意修改各节点的ip)分别将公钥复制到各节点:ssh-copy-id master ssh-copy-id slave1 ssh-copy-id slave2 scp -r ~/.ssh/ slave1:~/ scp -r ~/.ssh/ slave2:~/ ssh master # 测试免密登录 然后使用exit命令退出终端 ssh slave1 ssh slave22. 子任务二:Hadoop 完全分布式安装配置master、slave1、slave2三台节点都需要安装Hadoop(1) 在 主 节 点 将 Hadoop 安 装 包 解 压 到 /root/software 目录下;tar -zxvf /root/software/package/hadoop-3.3.3.tar.gz -C /root/software(2) 依次配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和workers配置hadoop-env.sh:在文件中新增 JAVA_HOME 目录地址export JAVA_HOME=/root/software/jdk1.8.0_212core-site.xml:在文件中的 configuration 标签中添加以下配置<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>fs.trash.interval</name> <value>10080</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/root/software/hadoop-3.3.3/hadoopDatas/tempDatas</value> </property>hdfs-site.xml:在文件中的 configuration 标签中添加以下配置<property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/root/software/hadoop-3.3.3/hadoopDatas/namenodeDatas</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/root/software/hadoop-3.3.3/hadoopDatas/datanodeDatas</value> </property>mapred-site.xml:在文件中的 configuration 标签中添加以下配置<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>yarn-site.xml:在文件中的 configuration 标签中添加以下配置<property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property>workers:将文件中修改为以下内容master slave1 slave2(3) 在master节点的Hadoop安装目录下依次创建hadoopDatas/tempDatas 、 hadoopDatas/namenodeDatas 、 hadoopDatas/datanodeDatas 、 hadoopDatas/dfs/nn/edits 、 hadoopDatas/dfs/snn/name 和 hadoopDatas/dfs/nn/snn/edits 目录;(4) 在master节点上使用scp命令将配置完的Hadoop安装目录直接拷贝至slave1和slave2;分别执行下面两条命令scp -r /root/software/hadoop-3.3.3/ slave1:~/software/ scp -r /root/software/hadoop-3.3.3/ slave2:~/software/(5) 三台节点的“/etc/profile”文件中配置Hadoop环境变量HADOOP_HOME和PATH的值,并让配置文件立即生效;在/etc/profile文件末尾添加:export HADOOP_HOME=/root/software/hadoop-3.3.3/ export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin保存退出后使用命令立即执行source /etc/profile(6) 在主节点格式化集群;hdfs namenode -format(7) 在主节点依次启动HDFS、YARN集群和历史服务cd /root/software/hadoop-3.3.3/sbin ./start-all.sh
2024年03月25日
94 阅读
0 评论
8 点赞