ELK+Kafka+FileBeat搭建教程.docx

ELK+Kafka+FileBeat搭建教程.docx

《ELK+Kafka+FileBeat搭建教程.docx》由会员分享，可在线阅读，更多相关《ELK+Kafka+FileBeat搭建教程.docx（10页珍藏版）》请在冰豆网上搜索。

ELK+Kafka+FileBeat搭建教程

ELK+Kafka+FileBeat搭建教案

1、用WinSCP工具上传安装包至服务器，如存放在/data/elk目录下

2、解压

tar-zxvfelasticsearch-6.8.0.tar.gz

tar-zxvfkibana-6.8.0-linux-x86_64.tar.gz

tar-zxvffilebeat-6.8.0-linux-x86_64.tar.gz

tar-zxvflogstash-6.8.0.tar.gz

3、Java环境配置

下载JDK安装包：

wgethttp:

//taiguo.ycznkj.top/files/jdk-8u201-linux-x64.tar.gz

解压:

tar-zxvfjdk-8u201-linux-x64.tar.gz

配置Java环境：

vi/etc/profile

将光标移到文档最下方（快捷键：

shift+g）

JAVA_HOME=

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH:

$JAVA_HOME/bin

exportPATHJAVA_HOMECLASSPATH

4、安装elasticsearch

修改配置文件：

vi/data/elk/elasticsearch-6.8.0/config/elasticsearch.yml

可在文档后面直接加：

#服务器ip本机

network.host:

0.0.0.0

#服务端口

http.port:

9200

>系统参数调优：

vi/etc/sysctl.conf

修改如下：

vm.max_map_count=655360

vi/etc/security/limits.conf

修改如下：

*softnofile65536

*hardnofile65536

>创建elsearch用户组及elsearch用户

groupaddelsearch

useraddelsearch-gelsearch-pelsearch0921

更改elasticsearch-6.8.0文件夹及内部文件的所属用户及组为elsearch:

elsearch

chown-Relsearch:

elsearch/data/elk/elasticsearch-6.8.0

切换到elsearch用户再启动

suelsearch

启动elasticsearch（实际用以后台启动，防止窗口关闭后，应用停止）

方式1：

/data/elk/elasticsearch-6.8.0/bin/elasticsearch#命令窗运行

方式2：

/data/elk/elasticsearch-6.8.0/bin/elasticsearch-d#后台线程运行

关闭elasticsearch

ctrl+c#命令窗关闭

ps-ef|grepelastic#后台线程关闭

kill-94442##pid4442为查处线程的pid

解决elasticsearch启动常见问题：

5、验证elasticsearch启动

6、安装kibana

修改配置文件

vi/data/elk/kibana-6.8.0-linux-x86_64/config/kibana.yml

可在文档后面直接加：

server.port:

5601##服务端口

server.host:

"0.0.0.0"##服务器ip本机

elasticsearch.url:

"http:

//localhost:

9200"##elasticsearch服务地址与elasticsearch对应

i18n.locale:

zh-CN##页面改为中文

#创建用户组elk

groupaddelk

#创建elk用户，密码为elk0921

useraddelk-gelk-pelk0921

#更新文档权限

chown-Relk:

elk/data/elk/kibana-6.8.0

#切换elk用户

suelk

启动kibana（实际用以后台启动，防止窗口关闭后，应用停止）

方式1：

/data/elk/kibana-6.8.0-linux-x86_64/bin/kibana#命令窗启动

方式2：

nohup./kibana-6.8.0-linux-x86_64/bin/kibana&#后台线程启动

关闭kibana

ctrl+c#命令窗关闭

ps-ef|grepkibana#后台线程关闭

kill-94525##pid4525为查处线程的pid

7、验证kibana启动

8、Kafka服务安装

Kafka安装包下载：

wgethttp:

//taiguo.ycznkj.top/files/kafka_2.12-2.3.1.tgz

解缩：

tar-zxvfkafka_2.12-2.3.1.tgz

目录例如放置于：

/data/elk/kafka_2.12-2.3.1

#更新文档权限

chown-Relk:

elk/data/elk/kafka_2.12-2.3.1

#切换elk用户

suelk

>启动zookeeper

$bin/zookeeper-server-start.shconfig/zookeeper.properties

如果没有报错,可以转后台启动

$nohupbin/zookeeper-server-start.shconfig/zookeeper.properties&

>启动kafka

$bin/kafka-server-start.shconfig/server.properties

如果没有报错,可以转后台启动

$nohupbin/kafka-server-start.shconfig/server.properties&

9、验证Kafka服务开启

使用命令：

netstat-unltp

查看2181、9092端口是否处于监听状态，如果处于监听状态，则说明ZooKeep、Kafka服务开启了。

10、安装logstash

新建配置文件

vi/data/elk/logstash-6.8.0/config/logback-kafka.conf

内容如下：

（为了防止格式出错，可将上方文档直接复制到/data/elk/logstash-6.8.0/config目录）

input{

kafka{

bootstrap_servers=>"127.0.0.1:

9092"

topics=>["es-testlogs"]

codec=>json

}

}

output{

elasticsearch{

hosts=>"localhost:

9200"

}

stdout{

codec=>rubydebug

}

}

>安装logstash的插件：

cd/data/elk/logstash-6.8.0/bin

./logstash-plugininstalllogstash-codec-json_lines

#更新目录权限

chown-Relk:

elk/data/elk/logstash-6.8.0

#切换elk用户

suelk

>启动logstash-6.8.0

cd/data/elk/logstash-6.8.0/bin

./logstash-f../config/logback-kafka.conf

至此logstash安装完成。

11、filebeat安装与配置

修改filebeat的配置文件filebeat.yml

a、在如下paths位置修改目录，配置成所要抓取的日志

b、在Elasticsearchoutput将默认的elSearch输出配置注释掉，如下图：

c、在Outputs下面添加如下配置，将日志内容传输到Kafka服务

output.kafka:

enable:

true

hosts:

["127.0.0.1:

9092"]

topic:

es-testlogs

compression:

gzip

max_message_bytes:

100000

启动filebeat

./filebeat-e-cfilebeat.yml

12、在kibana操作：

以上平台都搭建好以后在kibana上创建index索引

如果有日志进来就可查看，可通过右上角选择日期范围。