ELKF搭建详细步骤.docx
- 文档编号:8952276
- 上传时间:2023-02-02
- 格式:DOCX
- 页数:14
- 大小:731.09KB
ELKF搭建详细步骤.docx
《ELKF搭建详细步骤.docx》由会员分享,可在线阅读,更多相关《ELKF搭建详细步骤.docx(14页珍藏版)》请在冰豆网上搜索。
ELKF搭建详细步骤
ELKF搭建完整步骤
1.1流程说明
日志流向:
Client_data--->-→redis-→logstash---→elasticsearch---→kibana
client通过或者logstash收集日志,发送到redis缓存,redis输出到logstash,通过logstash做一些过滤和修改之后传送到es数据库,kibana读取es数据库做分析
1.2安装
1.2.1Server端安装
Jdk1.8
Elasticsearch
elasticsearch-head
nodejs
Logstash
Redis
Kibana
下载地址:
新版logstash有不少变化,网络文章很多配置并不太适用
请参考官方文档:
所有组件安装目录/app/elk
Serverip:
192.168.59.128
1.jdk1.8安装(略)
2.Elasticsearch安装:
新建用户elk,es需要非root用户启动
Wget
tarzxvfelasticsearch-6.1.0.tar.gz
cdelasticsearch-6.1.0/config
jvm.options配置文件,适当调增jvm运行参数
elasticsearch.yml主配置(此处使用了单机模式)
修改:
在末尾增加,是es-head能远程访问es库:
启动服务:
Su–elk
/app/elk/elasticsearch-6.1.0/bin/elasticsearch&
3.elasticsearch-head安装,用于web界面查看和编排es数据库
先安装nodejs,经测试,在系统上yum安装的nodejs使用会报错,版本不符
wget
tarzxvfnode-v4.4.7-linux-x64.tar.gz
cdnode-v4.4.7-linux-x64
设置环境变量;
exportNODE_HOME=/app/elk/node-v4.4.7-linux-x64
exportPATH=$PATH:
$NODE_HOME/bin
exportNODE_PATH=$NODE_HOME/lib/node_modules
执行source/etc/profile
grunt是基于Node.js的项目构建工具,可以进行打包压缩、测试、执行等等的工作,head插件就是通过grunt启动
wget
unzipmaster.zip
cdelasticsearch-head-master/
npminstall-ggrunt-cli
检查是否安装成功:
grunt-version
修改head插件源码:
vimGrunt
修改连接地址:
vim_site/app.js
运行head:
在elasticsearch-head-master目录下
npminstall//安装
gruntserver//运行
即本地9100端口启动
访问查看es库,浏览数据,删除等操作,便于后期es库维护
4.redis使用yum安装,修改bind地址,优化下参数如maxmemory等启动即可
5.logstash安装
下载包即可,主要是配置文件cd/app/elk/logstash-6.1.0/config
新建配置文件logstash.conf
Vimlogstash.conf
此配置作用是从redis内取出数据以json的格式输入到es库,过程中对字段进行了修改,其他配置参加XX
此处对nginxaccess日志字段做修改的原因是,将nginx访问日志的的字段拆分,用于后期kibana对nginx每个字段的分析统计。
其他如代码错误日志等不需要调整的会以字符串的格式进行收集,如果仅仅只是以字符串的形式收集日志内容,去掉filter段即可。
启动logstash:
/app/elk/logstash-6.1.0/bin/logstash-f/app/elk/logstash-6.1.0/config/logstash.conf
6.kibana安装
下载安装包,解压进目录修改两个配置即可:
vimconfig/kibana.yml
server.host:
"0.0.0.0"
elasticsearch.url:
启动:
./bin/kibana
访问:
默认端口可修改
此时server端即安装完成
1.2.2client端安装
下载:
Wget
解压,进入目录
cd/app/
mkdirconf
cpconf/
如果要上传多个日志,则将配置文件复制多分,如下,分为nginx日志和其他app日志
app-xxx.yml修改如下两处,用于上传111.log日志:
同理nginx-XX.yml修改两处,
分别启动两个进程:
-e为debug模式可去掉
../-e-cnginx-xx.yml
../-e-capp-xxyml
如果是多个文件,则每个日志文件启动一个进程,不影响其他,这个是新版和老版本的不同,网络上暂时没有找到这方面资料,如果如同老版本配置到同一个主配置文件里多个路径,则出现fields自定义的字段只能传递第一个日志设置的。
若每个文件没用自定义字段的区分,则收集到es中的所有日志会是同一个index文件,不便于区分和kibana搜索查询。
Es存储效果如下,
这里提一下另外一种日志收集方式,client端也用logstash收集日志,对日志格式的控制是更加灵活,但是需要装jdk而且耗费系统资源更多。
轻量级。
如将abc.log和def.log均收集到redis
1.3日志格式调整其他问题
Access日志如果需要做字段分析,需要对日志格式进行更改配置,如nginx配置日志为json格式:
则经过filter处理后日志到logstash存入ES库为:
否则日志中所有内容为一个字符串
Kibana基本使用:
更多详细实用见网络。
A区:
基本功能选项,如点击
可以选择查看某个时间范围内的日志信息,(也可以指定某个时间范围)
点击
可以设置页面上日志自动刷新的时间(默认off)
B区为索引相关信息:
黑色三角形点开后,可以看见索引列表,目前索引均是按项目名称来命名。
选择需要查看的索引后,即会弹出索引相关的信息。
默认搜索字符是*会显示选择的索引的所有信息。
左上方的数字表示你搜索的关键字数量。
下图中,在搜索栏输入’error’,会返回‘qcredit-frontal’索引下,所有字段值中包含error的文档。
相关的搜索语法,最后只简单介绍,详细用法请XX:
lucene或kibana语法。
AvailableFields:
索引里包含的字段,字段里面可以看出你搜索的关键字的分布情况。
上图则表示搜索到56条error,在beat.hostname里面显示出每台机器存在error的比率
SelectedFields:
可以通过add按钮把某些字段添加进去,添加进去之后效果如下。
字段可以add也可以remove。
C区主要显示日志的详细内容,按字段分割,其中message字段为日志的具体内容。
柱形图表示单位时间内日志的数量。
Kibana查询语法:
字段。
可以按页面左侧显示的字段搜索:
限定字段全文搜索:
field:
value
精确搜索:
filed:
"value"
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ELKF 搭建 详细 步骤