李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
Java
正文
FileBeat安装步骤
Leefs
2021-02-11 PM
2781℃
2条
# 04.FileBeat安装步骤 ### 一、安装 **1.下载** 官网地址:https://www.elastic.co/cn/downloads/past-releases#filebeat 选中对应版本的Filebeat,笔者ES版本为7.20,所以需要下载7.20版本的filebeat ![04.FileBeat安装步骤01.jpg](https://lilinchao.com/usr/uploads/2021/02/356087697.jpg) 2.下载后,我们上传到服务器上,然后创建一个文件夹进行解压 ```linux # 创建文件夹 [es@bogon beats]$ mkdir -p /soft/beats [es@bogon beats]$ cd /soft/beats #上传filebeat [es@bogon beats]$ rz # 解压文件 [es@bogon beats]$ tar -zxvf filebeat-7.2.0-linux-x86_64.tar.gz # 重命名 [es@bogon beats]$ mv filebeat-7.2.0-linux-x86_64/ filebeat ``` **3.进入filebeat目录下,创建对应的配置文件** ``` [es@bogon beats]$ cd filebeat [es@bogon filebeat]$ vim mogublog.yml ``` 添加如下内容 ```yml filebeat.inputs: # filebeat input输入 - type: stdin # 标准输入 enabled: true # 启用标准输入 setup.template.settings: index.number_of_shards: 3 # 指定下载数 output.console: # 控制台输出 pretty: true # 启用美化功能 enable: true ``` **4.为mogublog.yml去掉分组写权限** ``` [es@bogon filebeat]$ chmod go-w /soft/beats/filebeat/mogublog.yml ``` **5.启动** ``` [es@bogon filebeat]$ ./filebeat -e -c mogublog.yml ``` **6.在控制台输入hello** 就能看到我们会有一个json的输出,是通过读取到我们控制台的内容后输出的 ![04.FileBeat安装步骤02.jpg](https://lilinchao.com/usr/uploads/2021/02/4179762885.jpg) 内容如下 ```json { "@timestamp": "2021-01-17T19:39:15.897Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.2.0" }, "log": { "offset": 0, "file": { "path": "" } }, "message": "hello", "input": { "type": "stdin" }, "ecs": { "version": "1.0.0" }, "host": { "name": "bogon" }, "agent": { "hostname": "bogon", "id": "627ab2af-b8b2-43d8-92f5-2c0420d63995", "version": "7.2.0", "type": "filebeat", "ephemeral_id": "40254ae0-ef67-4892-af6a-d8107cee4305" } } ``` ### 二、读取文件配置 **1.再次创建一个文件,叫 mogublog-log.yml** ``` [es@bogon filebeat]$ vim mogublog-log.yml ``` 然后在文件里添加如下内容 ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log setup.template.settings: index.number_of_shards: 3 output.console: pretty: true enable: true ``` **2.添加完成后,我们在到下面目录创建一个日志文件** ```linux [es@bogon filebeat]$ mkdir -p /soft/beats/logs [es@bogon filebeat]$ cd /soft/beats/logs/ [es@bogon logs]$ echo "hello" >> a.log ``` **3.再次启动filebeat** ```linux [es@bogon filebeat]$ chmod go-w /soft/beats/filebeat/mogublog-log.yml [es@bogon filebeat]$ ./filebeat -e -c mogublog-log.yml ``` 能够发现,它已经成功加载到了我们的日志文件 a.log ![04.FileBeat安装步骤03.jpg](https://lilinchao.com/usr/uploads/2021/02/3882559329.jpg) 同时我们还可以继续往文件中追加内容 ``` echo "are you ok ?" >> a.log ``` 追加后,我们再次查看filebeat,也能看到刚刚我们追加的内容 ![04.FileBeat安装步骤04.jpg](https://lilinchao.com/usr/uploads/2021/02/2102533999.jpg) 可以看出,已经检测到日志文件有更新,立刻就会读取到更新的内容,并且输出到控制台。 ### 三、自定义字段 **1. 当我们的元数据没办法支撑我们的业务时,我们还可以自定义添加一些字段** ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log tags: ["web", "test"] #添加自定义tag,便于后续的处理 fields: #添加自定义字段 from: test-web fields_under_root: true #true为添加到根节点,false为添加到子节点中 setup.template.settings: index.number_of_shards: 3 output.console: pretty: true enable: true ``` **2. 添加完成后,我们重启 filebeat** ``` [es@bogon filebeat]$ ./filebeat -e -c mogublog-log.yml ``` **3. 添加新的数据到 a.log中** ``` [es@bogon logs]$ echo "test-web" >> a.log ``` 我们就可以看到字段在原来的基础上,增加了两个 ![04.FileBeat安装步骤05.jpg](https://lilinchao.com/usr/uploads/2021/02/2767667704.jpg)![04.FileBeat安装步骤05.jpg](https://lilinchao.com/usr/uploads/2021/02/2767667704.jpg) ### 四、输出到ElasticSearch **1. 我们可以通过配置,将修改成如下所示** ```yml filebeat.inputs: - type: log enabled: true paths: - /soft/beats/logs/*.log tags: ["web", "test"] fields: from: test-web fields_under_root: false setup.template.settings: index.number_of_shards: 1 output.elasticsearch: hosts: ["127.0.0.1:9200"] ``` 启动成功后,我们就能看到它已经成功连接到es了 ![04.FileBeat安装步骤06.jpg](https://lilinchao.com/usr/uploads/2021/02/1973629452.jpg) **2. 我们到刚刚的 logs文件夹向 a.log文件中添加内容** ``` [es@bogon logs]$ echo "hello mogublog" >> a.log ``` **3. 在ES中,我们可以看到,多出了一个 filebeat的索引库** ![04.FileBeat安装步骤07.jpg](https://lilinchao.com/usr/uploads/2021/02/3054722255.jpg) 然后我们浏览对应的数据,看看是否有插入的数据内容 ![04.FileBeat安装步骤08.jpg](https://lilinchao.com/usr/uploads/2021/02/1047554574.jpg) **启动命令** ``` ./filebeat -e -c mogublog-es.yml ./filebeat -e -c mogublog-es.yml -d "publish" ``` **参数说明** - **-e:**输出到标准输出,默认输出到syslog和logs下 - **-c:**指定配置文件 - **-d:**输出debug信息
标签:
Elasticsearch
非特殊说明,本博所有文章均为博主原创。
如若转载,请注明出处:
https://www.lilinchao.com/archives/1092.html
上一篇
Filebeat介绍
下一篇
Filebeat模块与配置
取消回复
评论啦~
提交评论
已有 2 条评论
sya
非常棒
回复
2022-04-15 11:26
Leefs
博主
@sya
谢谢对本站的支持
回复
2022-04-17 08:09
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
标签云
Beego
机器学习
高并发
SQL练习题
Kibana
Nacos
队列
Docker
正则表达式
容器深入研究
BurpSuite
SpringBoot
LeetCode刷题
Eclipse
Golang基础
并发线程
nginx
排序
Livy
锁
微服务
Quartz
Java编程思想
Jquery
Shiro
工具
Linux
Python
Spark Streaming
序列化和反序列化
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞
非常棒
谢谢对本站的支持