es中文拼音混合搜索
1. 使用场景介绍搜索功能支持：拼音检索，中文检索，拼音中文混合检索例如：输入：l德h【期望结果】：刘德华 和刘德华4【不期望结果】：刘得华 、刘的华 2. 下载pinyin 插件github地址注意：下载的版本要与自己的ES版本一致 3. 修改插件源码以及安装注意： 1）目前v7.13.1 已经支持拼音中文混合检索 可以直接安装插件直接使用 2）我本地目前是v7.9.3 ，所以需要对源码进行修改；如果你的ES版本也是低于v7.13.1版本；也需要进行修改； 我修改方法: 1）下载源码, checkout tag-v7.9.3 源码和tag-v7.13.1源码 2）通过compare进行比较，直接把v7.13.1 多余的代码复制到 v7.9.3 中 3）修改pom 的elasticsearch.version为7.9.3 4）maven 打包 mvn clean package 5）将\target\releases\elasticsearch-analysis-pinyin-7.9.3.zip 解压到\plugins\analysis-pinyin 文件夹下 4....
go指令大全
go指令大全
kibana用法
Kibana查询语法 要搜索一个确切的字符串，即精确搜索，需要使用双引号引起来：path:”/app/logs/nginx/access.log” 如果不带引号，将会匹配每个单词：uid token 模糊搜索：path:”/app/~” * 匹配0到多个字符：*oken ? 匹配单个字符 : tok?n 匹配是否包含的条件： +：搜索结果中必须包含此项； -：不能含有此项 什么都没有则可有可无： +token -appVersion appCode 运算符AND/OR/NOT必须大写：token AND uid ；token OR uid；NOT uid 允许一个字段值在某个区间（[] 包含该值，{}不包含）：@version:[1 TO 3] 组合查询：(uid OR token) AND version 转义特殊字符 + – && || ! ( ) { } [ ] ^ ” ~ * ? : \ ：转义特殊字符只需在字符前加上符号\ 查询样例简单查询简单查询就是 关键字匹配、字符串包含等，比如说如下语句会找出...
日志生命周期处理
日志生命周期处理脚本的方式 查出30天以前的索引并删掉 12345678910111213#!/bin/shcurl -H'Content-Type:application/json' -d'{ "query": { "range": { "pt": { "lt": "now-30d", "format": "epoch_millis" } } }}' -XPOST -H "Authorization:Basic ZWxhc3RpYzpTb3BlaU1HcjA5M0AkJV5FTEs="...
Elastic APM
Elastic Application Performance Management(APM) 是基于 Elastic Stack 构建的应用性能监控系统 背景目前我们日志系统已经投入生产使用, 对于日常开发有了一个方便排查问题的途径但是, 有些难题不是浮于表面的, 下一步需要做的, 便是找出这些埋于底层的性能及效率的问题.这便是Application Performance Management(APM)出现的目的 目标 收集有关请求的响应时间,数据库查询 外部 HTTP 请求等的详细性能信息 对应用程序的请求期间发生的其他缓慢操作的跟踪 自动收集未处理的错误和异常，错误主要基于堆栈跟踪进行分组，因此可以识别出现的新错误，并密切关注特定错误发生的次数。 价值 依靠apm, 过滤出不合格的接口, 根据具体情况加以改进, 最终实现一个可以满足三高的理想状态我们可以对接口的所有信息进行追溯, 现在我们已经有了trace-id, 可以反向拿"不合格的接口"的trace-id去找日志里找原因 APM serverAPM Server 是用 Go...
Filebeat多实例部署(守护进程方式[systemd])
安装好filebeat1站内搜索: 记录日志系统的安装-部署-配置-使用文档(1) 复制两个子文件夹下来12cp -r /etc/filebeat{,1}cp -r /etc/filebeat{,2} 修改各自的filebeat.yml1234...(省略inputs之类的)logging.files: # 这里修改文件夹路径 path: /var/log/filebeat1/2 这里主要是查看下机器systemd的path 我这里是/usr/lib/systemd/system 添加两份配置文件 vi /usr/lib/systemd/system/filebeat1.service 1234567891011121314151617[Unit]Description=Filebeat sends log files to Logstash or directly to...
Kibana-dashboard结合Filebeat的使用
利用Filebeat-Moudule监听/传输数据到es并通过Kibana的面板显示 要记得将modules功能打开 filebeat安装完默认会在/etc/filebeat/modules.d下放着许多模块的yml,需要哪个,就执行filebeat modules enable xxx filebeat.yml 1234567891011121314151617181920212223filebeat.config: modules: enabled: true path: modules.d/*.yml reload.enabled: true reload.period: 10s# ------------------------------ kibana Output -------------------------------output.elasticsearch: hosts: ["10.0.2.15:9200"] username:...
elasticsearch聚合使用方式
数据聚合聚合（aggregations) 可以让我们极其方便的实现对数据的统计、分析、运算。例如： 什么品牌的手机最受欢迎？ 这些手机的平均价格、最高价格、最低价格？ 这些手机每月的销售情况如何？ 实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现近实时搜索效果。 聚合分类 名称 作用 对比Mysql 分桶类型 (Bucket) 满足特定条件的文档的集合 类似GROUP BY语法 指标分析类型(Metric) 计算最大值，最小值，平均值等 类似 COUNT 、 SUM() 、 MAX() 等统计方法 管道分析类型(Pipeline) 对聚合结果进行二次分析 矩阵分析类型(Matrix) 支持对多个字段的操作并提供一个结果矩阵 Bucket聚合分析按照Bucket的分桶策略，常见的Bucket聚合分析如下: 策略 描述 Terms 最简单策略，如果是text类型，则按照分词后的结果分桶 Range 按照指定数值的范围来设定分桶规则 Date...
记录docker集群部署es7.x
三台机器 192.168.56.105192.168.56.106192.168.56.107 所有之前先运行下面指令，（防止jvm报错）12345sysctl -w vm.max_map_count=262144#只是测试，所以临时修改，永久修改使用下面echo vm.max_map_count=262144 >> /etc/sysctl.confsysctl -p es-node1 1234567891011121314151617181920212223242526272829# 集群名称，相同名称为一个集群cluster.name: elasticsearch-cluster# 节点名称，集群模式下每个节点名称唯一node.name: es-node1# 监听地址，用于访问该es，0.0.0.0代表不限制network.host: 0.0.0.0# 表示这个节点是否可以充当主节点node.master: true#...
记录解决golang操作es时证书安全验证问题
注: go-es包使用的是https://github.com/olivere/elastic当es配置了ssl,但是证书是自签证书,那可能在操作初始化es-client时候会报这样错误 certificate signed by unknown authority 这个问题我在issue中找到了答案 可以通过配置httpclient来忽略ssl验证 最终改造结果如下 1234var client *elastic.Clientvar host = "https://192.168.56.103:9200"var userName = "elastic"var passWord = "xiaowu" 12345678910111213141516171819202122var err errorhttpClient := &http.Client{Transport: &http.Transport{ TLSClientConfig:...
公告