elk日志分析系统搭建步骤及配置实战(详细版)
1. 整体方案图
2. 搭建步骤
(一).filebeat搭建步骤
(1). 官网下载filebeat 7.6.1版本tar包.
官网下载地址:https://www.elastic.co/cn/downloads
图1.1 进入官网下载地址,点击beats的下载按钮。
图1.2 点击filebeat的download。
图1.3 选择适合的版本下载,我这里选择64位linux的版本。
(2.)在目标服务器创建elk文件夹,将filebeat的tar包文件通过ftp工具复制进去并解压。(目标服务器就是需要采集的日志所在的服务器,filebeat可以在不同服务器搭建多个进行采集)
(3.)进入filebeat文件夹,修改filebeat.yml配置文件。
配置如下:
filebeat.inputs:
– type: log
enabled: true #true为启用,默认为true
paths:
– /home/nmc/backend/*/log/*.log #填入要采集的日志文件地址,*为匹配符。
output.logstash:
hosts: [“localhost:5044”] #输出的logstash的地址,此处代表输出到本地的logstash
(二).logstash搭建步骤
(1). 官网下载logstash 7.6.1版本tar包.
官网下载地址:https://www.elastic.co/cn/downloads
图2.1 选择logstash下载,下载步骤参照filebeat的下载。
(2.)将logstash的tar包文件通过ftp工具复制进去elk文件夹并解压。
(3.)进入logstash的config文件夹,修改配置文件logstash-sample.conf。
配置文件如下:
input {
beats { #意思是用beats输入到logstash
port => 5044
}
}
output {
elasticsearch { #输出到elasticsearch
hosts => [“http://localhost:9200”]
}
}
(4.)logstash有很多的过滤器插件,可以根据需要在配置文件中配置使用。
(三). elasticsearch搭建步骤
(1). 官网下载elasticsearch 7.6.1版本tar包.
官网下载地址:https://www.elastic.co/cn/downloads
图3.1 选择elasticsearch的下载,下载步骤参照filebeat的下载。
(2.)将elasticsearch的tar包文件通过ftp工具复制进去elk文件夹并解压。
(3.)无需修改配置文件。
(4.)如果当前服务器jdk版本不满足,可以使用elasticsearch自带的jdk12,方法如下:
进入elasticsearch的bin目录,修改elasticsearch文件,在开头添加上这一行:export JAVA_HOME={此处为你的elasticsearch路径}/jdk/,并相应的修改垃圾内存回收机制,进入elasticsearch的config目录,修改jvm.options文件,将 : -XX:+UseConcMarkSweepGC
改为:-XX:+UseG1GC。
(四). kibana搭建步骤
(1). 官网下载kibana 7.6.1版本tar包.
官网下载地址:https://www.elastic.co/cn/downloads
图4.1 选择kibana的下载,下载步骤参照filebeat的下载。
(2.)将kibana的tar包文件通过ftp工具复制进去elk文件夹并解压。
(3.)进入kibana的config文件夹,修改配置文件kibana.yml。
配置文件如下:
server.host: 0.0.0.0
elasticsearch.hosts: [“http://127.0.0.1:9200”]
i18n.locale: “zh-CN”
2. 启动步骤
启动按elasticsearch ->kibana -> logstash-> filebeat顺序启动
(1). elasticsearch启动
在elasticsearch的bin目录下,执行:nohup ./elasticsearch > elasticsearch.log 2>&1 &
,默认端口号为9200
(2). kibana启动
在kibana的bin目录下,执行:nohup ./kibana > kibana.log 2>&1 &
,默认端口号为5601
(3). logstash启动
在logstash的bin目录下,执行:nohup ./logstash -f ../config/logstash-sample.conf > logstash.log 2>&1 &
,默认端口号为9600
(4). Filebeat启动
在filebeat的bin目录下,执行:nohup ./filebeat -e -c filebeat.yml -d “publish” > filebeat.log 2>&1 &
(注:第一次启动,关闭shell窗口时先使用exit退出,再进行关闭窗口操作)
4. kibana页面进入及设置
(1). 界面地址
地址:{此处为kibana所在的服务器ip地址}:5601,如10.1.8.116:5601.
(2). 添加索引
根据页面提示,添加索引进行查看日志。