日志分析平台 ELKStack安装搭建手册
一、概述
对于日志来说, 最常见的需求就是收集、 存储、查询和展示, 而开源社区正好有相
对应的开源项目: logstash(收集)、redis(处理队列不做存储) 、elasticsearch(存储 +搜
索)、kibana(展示),我们将这几个组合起来就称之为 ELKStack。
二、安装环境说明
2.1、使用 ELK的必要性
开发人员不能登录线上服务器查看详细日志
各个系统都有日志,日志数据分散难以查找
日志数据量大,查询速度慢,或者数据不够实时
2.2、环境准备
2.2.1、硬件环境: CPU16核,内存 16G,硬盘 2T
2.2.2、操作系统: Centos7.4 64位,内核版本 3.1,最小化安装
三、部署
3.1、安装 java环境
从官网下载 jdk1.8 源码包,解压到相应的文件夹, 修改变量,这里就不介绍了,如
果不会可以去网上搜索,很简单, java安装完成之后使用“ java -version”查看是否安装
成功。
3.2、安装 logstash组件
3.2.1、将下载好的源码包解压到“ /usr/local/elk ”目录。
3.2.2、解压好之后直接运行“ /usr/local/elk/logstash-5.6.0/bin/logstash – e “”” ,这是一个
标准化输入和输出测试,如果出现下图中的内容说明测试成功。
3.2.3、直接复制 logstash-5.6.0 目录两份,分别改名为 logstash-5.6.0_syslog_to_redis,
logstash-5.6.0_redis_to_es 这两个目录分别在运行 logstash时要分开,因为后面会有两个
配置文件要同时运行。
3.2.4、标准配置文件模板如下, 可以参考,如果需要加入过滤器、字段匹配等等需要另
外安装插件,并写入相应的配置文件。
3.2.4.1、syslog-to-redis 配置模板,这个不需要怎么修改。
3.2.4.2、 redis-to-es 配置模板,过滤器、字段匹配等插件配置可以直接往里面写。
3.2.5、运行服务通过“ /usr/local/elk/logstash-5.6.0/bin/logstash -f ”指定配置文件即可。
logstash/安装/配置/日志/运行/环境/目录/文件/模板/java/
logstash/安装/配置/日志/运行/环境/目录/文件/模板/java/
-->