elasticsearch

go指令大全

简单查询简单查询就是 关键字匹配、字符串包含等，比如说如下语句会找出 name 字段是 banana 的所有数据： 1name: banana 但是如果 name 包含 peach 和 peach test，然后下面两个语句查出来会是两个结果。 1name: peach test 上述查询会将 name 是 peach 和 name 是 peach test 的都给查出来 1name: "peach test" 上述查询只会将 peach test 查出来，因为如果不加引号会自动关键字分词，将包含该关键字的所有数据匹配出来。 条件运算符条件运算符就是 > >= < <=，在 KQL 里边都支持，使用也很简单，比如如下语句表示 age 字段大于等于 10。 1age >= 10 逻辑运算符查询语言自然少不了逻辑运算符 与或非，在 KQL 中代表了 and or not and 的用法： 1age >= 10 and age < 100 上述语句表示查询出 age 在 10 到 100...

日志生命周期处理脚本的方式 查出30天以前的索引并删掉 12345678910111213#!/bin/shcurl -H'Content-Type:application/json' -d'{ "query": { "range": { "pt": { "lt": "now-30d", "format": "epoch_millis" } } }}' -XPOST -H "Authorization:Basic ZWxhc3RpYzpTb3BlaU1HcjA5M0AkJV5FTEs="...

Elastic Application Performance Management(APM) 是基于 Elastic Stack 构建的应用性能监控系统 背景目前我们日志系统已经投入生产使用, 对于日常开发有了一个方便排查问题的途径但是, 有些难题不是浮于表面的, 下一步需要做的, 便是找出这些埋于底层的性能及效率的问题.这便是Application Performance Management(APM)出现的目的 目标 收集有关请求的响应时间,数据库查询 外部 HTTP 请求等的详细性能信息 对应用程序的请求期间发生的其他缓慢操作的跟踪 自动收集未处理的错误和异常，错误主要基于堆栈跟踪进行分组，因此可以识别出现的新错误，并密切关注特定错误发生的次数。 价值 依靠apm, 过滤出不合格的接口, 根据具体情况加以改进, 最终实现一个可以满足三高的理想状态我们可以对接口的所有信息进行追溯, 现在我们已经有了trace-id, 可以反向拿"不合格的接口"的trace-id去找日志里找原因 APM serverAPM Server 是用 Go...

安装好filebeat1站内搜索: 记录日志系统的安装-部署-配置-使用文档(1) 复制两个子文件夹下来12cp -r /etc/filebeat{,1}cp -r /etc/filebeat{,2} 修改各自的filebeat.yml1234...(省略inputs之类的)logging.files: # 这里修改文件夹路径 path: /var/log/filebeat1/2 这里主要是查看下机器systemd的path 我这里是/usr/lib/systemd/system 添加两份配置文件 vi /usr/lib/systemd/system/filebeat1.service 1234567891011121314151617[Unit]Description=Filebeat sends log files to Logstash or directly to...

利用Filebeat-Moudule监听/传输数据到es并通过Kibana的面板显示 要记得将modules功能打开 filebeat安装完默认会在/etc/filebeat/modules.d下放着许多模块的yml,需要哪个,就执行filebeat modules enable xxx filebeat.yml 1234567891011121314151617181920212223filebeat.config: modules: enabled: true path: modules.d/*.yml reload.enabled: true reload.period: 10s# ------------------------------ kibana Output -------------------------------output.elasticsearch: hosts: ["10.0.2.15:9200"] username:...

数据聚合聚合（aggregations) 可以让我们极其方便的实现对数据的统计、分析、运算。例如： 什么品牌的手机最受欢迎？ 这些手机的平均价格、最高价格、最低价格？ 这些手机每月的销售情况如何？ 实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现近实时搜索效果。 聚合分类 名称 作用 对比Mysql 分桶类型 (Bucket) 满足特定条件的文档的集合 类似GROUP BY语法 指标分析类型(Metric) 计算最大值，最小值，平均值等 类似 COUNT 、 SUM() 、 MAX() 等统计方法 管道分析类型(Pipeline) 对聚合结果进行二次分析 矩阵分析类型(Matrix) 支持对多个字段的操作并提供一个结果矩阵 Bucket聚合分析按照Bucket的分桶策略，常见的Bucket聚合分析如下: 策略 描述 Terms 最简单策略，如果是text类型，则按照分词后的结果分桶 Range 按照指定数值的范围来设定分桶规则 Date...

三台机器 192.168.56.105192.168.56.106192.168.56.107 所有之前先运行下面指令，（防止jvm报错）12345sysctl -w vm.max_map_count=262144#只是测试，所以临时修改，永久修改使用下面echo vm.max_map_count=262144 >> /etc/sysctl.confsysctl -p es-node1 1234567891011121314151617181920212223242526272829# 集群名称，相同名称为一个集群cluster.name: elasticsearch-cluster# 节点名称，集群模式下每个节点名称唯一node.name: es-node1# 监听地址，用于访问该es，0.0.0.0代表不限制network.host: 0.0.0.0# 表示这个节点是否可以充当主节点node.master: true#...

注: go-es包使用的是https://github.com/olivere/elastic当es配置了ssl,但是证书是自签证书,那可能在操作初始化es-client时候会报这样错误 certificate signed by unknown authority 这个问题我在issue中找到了答案 可以通过配置httpclient来忽略ssl验证 最终改造结果如下 1234var client *elastic.Clientvar host = "https://192.168.56.103:9200"var userName = "elastic"var passWord = "xiaowu" 12345678910111213141516171819202122var err errorhttpClient := &http.Client{Transport: &http.Transport{ TLSClientConfig:...

[[日志系统使用文档地址]] 站内搜索[记录日志系统的安装->部署->配置->使用文档(3)] 服务器es, logstash, kibana内存: 8G磁盘: 500G处理器: 4/8核带宽: 2m 1234567以上配置是原来写的,在之后的线上环境很快就得到了验证, 结果就是直接崩溃建议每天产生20g到30g的起码弄个以下的配置内存: 16G磁盘: 500g-1t(硬盘不值钱)处理器: 4/8核带宽: 5m filebeat(被抓取服务所在机器)1略... 端口12elk服务器对外开放5601elk服务器对filebeat所在服务器内网开放5044 安装(单点) 安装完filebeat之后,需要给inputs下配置文件基于root权限或者go+w权限chown root /etc/filebeat/inputs/* 或者 chown go+w...