记录日志系统的安装-部署-配置-使用文档(3)
日志系统使用文档（长期完善）登录输入对应用户密码 索引模式（管理级操作）默认初始进来是这个页面，建立匹配的索引模式方可进行日志查询。 创建索引模式先创建匹配模式，例如我这里创建的索引模式名称为 sopei-dev02*，则代表可查看以 sopei-dev02 开头的索引下的日志（备注：下面可以看到匹配到了 8 月 9 日的 debug 日志和 error 日志）。 选择全局时间筛选字段，创建模式完成 创建及分配用户和角色（管理级操作）目前先以查看日志者和创建索引模式者及管理者区分。 例如：设置一个 log-view 角色，仅可对 dev 机器上的日志进行读取操作，然后赋予 xiaowu 用户。 创建用户 日志查看日志流模式查看 例如：查看 module 为 xxx，trace-id 为 xiaowu-12345673453463 并且是 error 类型的日志。 discover 查看查询方式和流模式一样，看到的内容是以 ES（_source）实际存储格式展示的。
记录日志系统的安装-部署-配置-使用文档(5)
ELK-ALERTING - 告警功能前提：使用告警功能必须配置 SSL，配置安全性可以站内搜索 [记录日志系统的安装-部署-配置-使用文档(4)] Kibana 本身提供了告警功能，左菜单位位置（7.14.0），但是免费支持的告警操作只有写入索引和写入 Kibana 日志，其他功能需要收费（19 美元一个月）。网上提到一个方案 sentinl，但是似乎截止到 2021-08-20 仅支持到 Kibana 7.6.1 的版本。 创建连接器（以邮件和 webhook 举例）邮件 企业微信邮箱发送方主机： IP：smtp.exmail.qq.com Port：465 QQ 邮箱发送方主机： IP：smtp.qq.com Port：465 / 587 记得在账户那里开启 SMTP，然后密码是授权码 测试，可以有多个接收方 Webhook 飞书 webhook 企业微信群机器人 发个测试 123456789{ "msg_type": "text", "content&qu...
记录下 Logstash 的配置加解释
Logstash 配置说明logstash.conf（完整配置加注释）12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091input { beats { port => 5044 #ssl => true #ssl_certificate => "/etc/logstash/logstash.crt" #ssl_key => "/etc/logstash/logstash.key" # 1. SSL 详情可参考相关文档 }}# filter 模块主要是数据预处理，提取一些信息，方便 Elasticsearch 好归类存储。# 2. grok 正则捕获# 3...
日志系统 - 背景
背景目前项目查看日志的方式较为朴素，人工线上查看 log 的方式也较为麻烦。一套能查看全链路日志的系统，对每位开发来说无疑是雪中送炭的。 其次，目前的业务日志中的数据是可供二次利用和开发的，而非目前仅是排查问题使用。 目标 打造全员可实时查看生产日志，并能提取调用链日志 应用到后续的业务发展中（BI） APM 价值为 BI 业务（other/计算）做准备 夯实服务架构 便利开发查看日志，不仅是业务日志，Filebeat 提供了各种 module 以支持监控各种中间件的日志 初步设想架构图 改动点 服务 保持原有日志格式 各日志加字段 ['traceId', 'localIp', 'module'] - 以便有问题可以确定到某台机器上的某个服务 各模块 traceId 通过 REST 接口传递 header（Rest 插件改造） 由（网关生成 traceid）orange 向下传递 traceId（uuid/snowflake） ELK（单点） Filebeat 和服务部署在同台机器上 ES index 格...
Filebeat 采集 JSON 日志到 ES
需求描述使用 Filebeat 从 log 文件中采集 JSON 格式的日志，发送到 ES 中，并在 ES 中显示 JSON 日志的各字段和数据。 问题一：如何采集 JSON 格式的日志在 filebeat.yml 文件中进行相应的配置： 12345678910111213141516171819202122232425262728293031323334- type: log enabled: true paths: - E:\testjson.log processors: - script: lang: javascript source: > function process(event) { var message = event.Get("message"); message = message.replace(/\\x22/g,'"'); message = message.replace...
ELK 常用架构及使用场景
ELK 常用架构及使用场景 摘自创始人 最简单架构在这种架构中，只有一个 Logstash、Elasticsearch 和 Kibana 实例。Logstash 通过输入插件从多种数据源（比如日志文件、标准输入 Stdin 等）获取数据，再经过滤插件加工数据，然后经 Elasticsearch 输出插件输出到 Elasticsearch，通过 Kibana 展示。 Logstash 作为日志搜集器这种架构是对上面架构的扩展，把一个 Logstash 数据搜集节点扩展到多个，分布于多台机器，将解析好的数据发送到 Elasticsearch server 进行存储，最后在 Kibana 查询、生成日志报表等。 这种结构因为需要在各个服务器上部署 Logstash，而它比较消耗 CPU 和内存资源，所以比较适合计算资源丰富的服务器，否则容易造成服务器性能下降，甚至可能导致无法正常工作。 Beats 作为日志搜集器这种架构引入 Beats 作为日志搜集器。目前 Beats 包括四种： Packetbeat：搜集网络流量数据 Topbeat：搜集系统、进程和文件系统级别的 CP...
公告