李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
ELK启动查看状态等常用命令
Leefs
2021-12-20 PM
1548℃
0条
[TOC] #### 前言 本篇都以7.2.0版本为例。 ### 一、Elasticsearch Elasticsearch (ES)是一个分布式的 Restful 风格的搜索和数据分析引擎,它具有以下特点: - 查询:允许执行和合并多种类型的搜索 — 结构化、非结构化、地理位置、度量指标 — 搜索方式随心而变。 - 分析:Elasticsearch 聚合让您能够从大处着眼,探索数据的趋势和模式。 - 速度:很快,可以做到亿万级的数据,毫秒级返回。 - 可扩展性:可以在笔记本电脑上运行,也可以在承载了 PB 级数据的成百上千台服务器上运行。 - 弹性:运行在一个分布式的环境中,从设计之初就考虑到了这一点。 - 灵活性:具备多个案例场景。支持数字、文本、地理位置、结构化、非结构化,所有的数据类型都欢迎。 **1.1 启动Elasticsearch命令** ```bash #启动 [es@bogon elasticsearch]$ ./elasticsearch-7.2.0/bin/elasticsearch #后台启动 [es@bogon elasticsearch]$ elasticsearch-7.2.0/bin/elasticsearch -d # 重启(重启不一定会成功) [es@bogon elasticsearch]$ sh elasticsearch-7.2.0/bin/elasticsearch -d ``` **1.2 查看elasticsearch运行状态** ```bash #方式1 [es@bogon elasticsearch]$ jps 5465 Elasticsearch #方式2 [es@bogon elasticsearch]$ ps aux | grep elasticsearch ``` **1.3 关闭elasticsearch** ```bash # 通过进程ID杀掉ES进程 [es@bogon elasticsearch]$ kill -9 5465 ``` ### 二、Logstash Logstash 主要用于收集服务器日志,它是一个开源数据收集引擎,具有实时管道功能。Logstash 可以动态地将来自不同数据源的数据统一起来,并将数据标准化到您所选择的目的地。 **Logstash 收集数据的过程主要分为以下三个部分:** - **输入:**数据(包含但不限于日志)往往都是以不同的形式、格式存储在不同的系统中,而 Logstash 支持从多种数据源中收集数据(File、Syslog、MySQL、消息中间件等等)。 - **过滤器:**实时解析和转换数据,识别已命名的字段以构建结构,并将它们转换成通用格式。 - **输出:**Elasticsearch 并非存储的唯一选择,Logstash 提供很多输出选择。 ![08.ELK启动查看状态等常用命令01.png](https://lilinchao.com/usr/uploads/2021/12/834408232.png) **2.1 启动Logstash命令** ```shell # 测试配置 [es@bogon logstash-7.2.0]$ ./bin/logstash -f config/logstashConf.conf --config.test_and_exit # 前端启动 [es@bogon logstash-7.2.0]$ ./bin/logstash -f config/logstashConf.conf # 后台启动 [es@bogon logstash-7.2.0]$ nohup ./bin/logstash -f config/logstashConf.conf & # 启用自动配置重新加载,日志输出在nohub.out [es@bogon logstash-7.2.0]$ nohup ./bin/logstash -f config/logstashConf.conf --config.reload.automatic & # 不输出日志启动 [es@bogon logstash-7.2.0]$ nohup ./bin/logstash -f config/logstashConf.conf --config.reload.automatic > /dev/null 2>&1 & ``` 说明: + **-f:**代表指定文件路径 + **logstashConf.conf:**代表需要启动的配置文件 + **&:**代表后台启动 + **--config.reload.automatic:**启用自动配置重新加载,每次修改完配置以后不需要重新启动logstash **其他配置说明** | 参数 | 说明 | 举例 | | ---- | --------------------------------- | ------------------------------------------------------- | | -e | 使用命令行里的配置参数启动实例 | ./bin/logstash -e ‘input {stdin {}} output {stdout {}}’ | | -f | 指定启动实例的配置文件 | ./bin/logstash -f test.conf | | -w | 指定filter线程数量,默认线程数是5 | | | -l | 指定日志文件名称 | ./bin/logstash-f test.conf -l logs/test.log | **2.2 查看运行进程命令** ```shell [es@bogon logstash-7.2.0]$ jps 2648 Logstash [es@bogon logstash-7.2.0]$ ps -ef|grep logstash [es@bogon logstash-7.2.0]$ ps aux|grep logstash ``` **2.3 停止Logstash命令** ```shell kill -9 2648 ``` **2.4 其他** ```shell # 如果日志写入报权限错误,可以执行如下命令修改权限 chgrp esuser myes.log chown es myes.log # 更改文件/文件夹所属用户 #chown [-R] 账号名称:组群 文件/目录 chown -R es logstash-7.2.0 ``` ### 三、Kibana Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等,直观的展示数据,从而达到高级的数据分析与可视化的目的。 **3.1 启动命令** ```shell #启动Kibana [es@bogon elasticsearch]$ ./kibana-7.2.0/bin/kibana #后台启动Kibana [es@bogon elasticsearch]$ nohup ./kibana-7.2.0/bin/kibana & #不输出日志启动 [es@bogon elasticsearch]$ nohup ./kibana-7.2.0/bin/kibana > /dev/null 2>&1 & ``` **3.2 查看Kibana状态** ```shell # 查看端口占用情况 [es@bogon elasticsearch]$ netstat -tunlp|grep 5601 tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 26596/./bin/../node ``` + 26596:即为Kibana进程号 注意:因为Kibana底层实现是Node,所以通过`ps -ef|grep kibana`查不到kibana进程。 **3.3 停止Kibana进程** ```shell kill -9 26596 ``` ### 四、Filebeat 简单来说Filebeat就是数据的搬运工,只不过除了搬运还可以对数据作一些深加工,为业务增加一些附加值。 - Filebeat可以从多种不同的上游**input** 中接受需要收集的数据,其中我们最常用的就是 log input,即从日志中收集数据; - Filebeat对收集来的数据进行加工,比如:多行合并,增加业务自定义字段,json等格式的encode; - Filebeat将加工好的数据发送到被称为**output**的下游,其中我们最常用的就是 Elasticsearch 和 Kafka; - Filebeat具有ACK反馈确认机制,即成功发送到output后,会将当前进度反馈给input, 这样在进程重启后可以断点续传; - Filebeat在发送output失败后,会启动retry机制,和上一次ACK反馈确认机制一起,保证了每次消息**至少发送一次**的语义; - Filebeat在发送output时,由于网络等原因发生阻塞,则在input上游端会减慢收集,自适应匹配下游output的状态。 ![08.ELK启动查看状态等常用命令02.png](https://lilinchao.com/usr/uploads/2021/12/382874069.png) **4.1 启动Filebeat命令** ```shell # 前台启动 ./filebeat -e -c filebeat_linux.yml # 后台启动 nohup ./filebeat -e -c filebeat_linux.yml & # 不输出日志启动 nohup ./filebeat -e -c filebeat_linux.yml > /dev/null 2>&1 & ``` **4.2 查看启动进程** ```shell ps -ef | grep filebeat ``` **4.3 关闭进程** ```shell kill -9 进程ID ```
标签:
Elasticsearch
非特殊说明,本博所有文章均为博主原创。
如若转载,请注明出处:
https://www.lilinchao.com/archives/1763.html
上一篇
02.Flink应用场景
下一篇
Kibana中的KQL语法
取消回复
评论啦~
提交评论
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
43
标签云
MyBatis
Typora
Spark Streaming
Map
Spark
Eclipse
FileBeat
哈希表
序列化和反序列化
SQL练习题
线程池
并发编程
ClickHouse
Spark SQL
人工智能
Jquery
Git
Kafka
国产数据库改造
Elasticsearch
链表
正则表达式
Zookeeper
DataWarehouse
机器学习
Hadoop
Java编程思想
Flume
LeetCode刷题
FastDFS
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞