本站首页 收藏本站
广告位联系

APP正在开发中...
返回顶部
您的位置： 主页 > 服务器 > DNS服务器 >

收藏
分享到

基于Docker搭建ELK日志系统的方法

DNS服务器 来源：转载 作者：秩名 发布时间：2021-06-07 09:14:38 人浏览
摘要

业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要我们运维到服务器上分析日志。 ELK介绍： ELK是三个开源软

业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要我们运维到服务器上分析日志。

ELK介绍：

在这里插入图片描述

ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。 目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack。 Beats，它是一个轻量级的日志收集处理工具(Agent)，占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

在这里插入图片描述

搭建步骤：

经过上述描述，大家也应该稍微有点了解了，想要搭建这个平台至少是需要3/4个软件的(可以没有filebeat)。

  • kibana 用于展示
  • elasticsearch 用于检索
  • logstash 用于过滤
  • filebeat 用于收集日志

本篇文章假定你已经有了docker环境，并且有基本的docker使用经验

拉取镜像(统一版本可以避免很多坑)：

docker pull kibana:6.8.2
docker pull elasticsearch:6.8.2
docker pull mobz/elasticsearch-head:5 # es的一个插件
docker pull logstash:6.8.2
docker pull docker.elastic.co/beats/filebeat:6.8.2 # 很慢 可以尝试设置代理或者更改docker镜像源

Docker 设置代理在linux中可以使用ClashX 订阅url，然后docker 连到代理。有桌面的可以直接更改，没有的也可以创建配置文件进行更改 ⇒ 传送门

在这里插入图片描述

另外把docker的内存给多一点儿，避免到时候卡顿。

构建ES：

docker run -d -p 9200:9200 -p 9300:9300 --name elasticsearch -e "discovery.type=single-node" elasticsearch:6.8.2

浏览器访问(curl也行)：localhost:9200 出现下面的结果则说明启动成功：

在这里插入图片描述

若出现错误，请查错误日志。

创建ES-HEAD：

docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

同样访问localhost:9100，看到下面的结果即为成功：

在这里插入图片描述

在es-head连接es可能是连不上的，是因为es没有开启跨域，进入es容器内部 找到config文件下的elasticsearch.yml，在此文件中增加：

http.cors.enabled: true
http.cors.allow-origin: "*"

然后重启es后es-head就可以连接上es。

开启Kibana：

 
 
docker run -d -p 5601:5601 --link elasticsearch -e ELASTICSEARCH_URL=http://elasticsearch:9200 kibana:6.8.2

这里就是http://elasticsearch:9200，不要更改，前面使用了–link，会在kibana容器hosts文件中加入elasticsearch ip地址，这样我们就直接通过定义的name来访问es服务了。
容器启动成功后，es-head里面应该就能看到下面的信息：

在这里插入图片描述

访问localhost:5601会出现下面的结果：

在这里插入图片描述

至此我们的kibana已经成功跑起来了，es也已经跑起来了，接下来就是收集日志的服务了。

构建filebeat 和 logstash：

首先声明，这两兄弟需要点儿配置文件，我们想整个文件夹统一存放这两份配置文件：

mkdir elktest  # 在主目录下 即:～/elktest 路径
cd elktest
touch filebeat.yml
touch logstash.conf
 

添加配置文件

vim filebeat.yml

filebeat.prospectors:
- paths:
    - /home/elk/logs/user/a.log
  multiline:
      pattern: ^d{4}
      negate: true
      match: after
  fields:
    doc_type: user
- paths:
    - /home/elk/logs/service/a.log
  multiline:
      pattern: ^d{4}
      negate: true
      match: after
  fields:
    doc_type: service
output.logstash: # 输出地址
  hosts: ["logstash:5044"]
 
vim logstash.conf

input {
  beats {
    port => "5044"
  }
}
filter {
  json {
    source => "message"
  }
}

output {
  stdout { codec => rubydebug }
  elasticsearch {
        hosts => [ "elasticsearch:9200" ]
        index => "%{[fields][doc_type]}-%{+YYYY.MM.dd}"
    }
}
 

当前你应该还在elktest目录下，由于我们没有日志来源，所以本片的方式是手动创建日志，建立一个日志文件夹：

mkdir logdir

自己构建一些日志，随便写什么，文件及文件夹名称不要改动，已经在配置文件中对应好了，构建完成之后你的目录结构应该长这个样子：

在这里插入图片描述

创建容器：

docker run -it --name logstash --link elasticsearch -d -p 5044:5044 -v ~/elktest/logstash.conf:/usr/share/logstash/pipeline/logstash.conf logstash:6.8.2

docker run --name filebeat --link logstash -d -v ~/elktest/filebeat.yml:/usr/share/filebeat/filebeat.yml -v ~/elktest/logdir/user/:/home/elk/logs/user/ -v ~/elktest/logdir/service/:/home/elk/logs/service/ docker.elastic.co/beats/filebeat:6.8.2
 

此时你的es-head应该长这个样子：

在这里插入图片描述

如果不是这个样子，可以查看容器是否运行，是否有错误日志，另外也可以到logstash容器中ping elasticsearch，filebeat容器中ping logstash，检查路径是否有问题。

Kibana显示： 创建索引向：

在这里插入图片描述

创建完成后去查看，添加自己想要查看的字段，内容在message里(刚好就是我们在a.log中的内容)：

在这里插入图片描述

到此为止，我们的elk已经搭建完成了，成功搭建的小伙伴晚饭给自己加个鸡腿！！！！
版权声明 : 本文内容来源于互联网或用户自行发布贡献，该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权， 违法违规的内容， 请发送邮件至2530232025#qq.cn(#换@)举报，一经查实，本站将立刻删除。

您可能感兴趣的文章 :

原文链接 : https://blog.csdn.net/ALakers/article/details/116663267
相关文章
  • k8s集群部署时etcd容器不停重启问题以及处理介绍
    问题现象 在安装部署Kubernetes 1.26版本时，通过kubeadm初始化集群后，发现执行kubectl命令报以下错误： The connection to the server localhost:8080 was
  • docker容器中文乱码的解决教程
    docker部署java开发web项目。nohup显示打印日志出现中文乱码，中文显示为问号？？？。 环境 服务器系统：centos7、docker部署项目 具体操作如下

  • 云原生Docker创建并进入mysql容器的全过程

    云原生Docker创建并进入mysql容器的全过程
    本文主要讲解的是创建mysql的容器，大家都知道，在外面进入mysql都很容易，mysql -u用户名 -p密码就可以，但是是容器的mysql就没那么好进入了

  • 云原生Docker容器自定义DNS解析

    云原生Docker容器自定义DNS解析
    描述 在特定的情况下，或者在网络策略特殊定义下，需要自定义dns进行域名访问，在宿主机上配置了域名解析，对于docker容器无效。 对于局

  • 半小时实现基于ChatGPT搭建微信机器人

    半小时实现基于ChatGPT搭建微信机器人
    ChatGPT刷屏了 相信大家最近被ChatGPT刷屏了，其实在差不多一个月前就火过一次，不会那会好像只在程序员的圈子里面火起来了，并没有被大
  • docker search命令的具体使用
    一、docker search 命令选项 命令选项 描述 filter , -f 根据给定的条件进行过滤 format 自定义打印格式 limit 显示搜索结果，默认值25 no-trunc 回显结

  • docker-cli源码窥探(推荐)

    docker-cli源码窥探(推荐)
    docker-cli源码窥探 最近一直在使用docker，看了一些书和教程，但是一直停在使用的层面，但总觉得不够深入，故决定看看源码，学习优秀的项

  • kvm 透传显卡至win10虚拟机的方法

    kvm 透传显卡至win10虚拟机的方法
    环境 1 2 3 4 5 6 7 8 9 10 11 已安装nvidia 显卡 驱动 操作系统:CentOS Linux release 7.9.2009 (Core) 内核版本:Linux 5.4.135-1.el7.elrepo.x86_64 显卡 型号:rtx 6000

  • Docker Desktop常见的几种启动失败问题解决方法

    Docker Desktop常见的几种启动失败问题解决方法
    报错1，Error：Failed to restart 点Quit 然后出现提示WSL 2 is not installed 点击 Use Hyper-V 打开 启用或关闭windows功能 确保适用于Linux的Windows子系统和
  • 使用Kubernetes自定义资源(CRD)的介绍
    什么是CRD CRD的全称为CustomResourceDefinitions，即自定义资源。k8s拥有一些内置的资源，比如说Pod，Deployment，ReplicaSet等等，而CRD则提供了一种方
推荐阅读
最新更新
友情链接
  • 本站所有内容来源于互联网或用户自行发布，本站仅提供信息存储空间服务，不拥有版权，不承担法律责任。如有侵犯您的权益，请您联系站长处理！
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计