elasticsearch

日志系统使用文档(长期完善)登录1输入对应用户密码 索引模式(管理级操作)1默认初始进来是这个页面,建立匹配的索引模式方可进行日志查询 创建索引模式1先创建匹配模式,例如我这里创建的索引模式名称为sopei-dev02*,则代表可查看以sopei-dev02开头的索引下的日志(备注: 下面可以看到匹配到了8月9日的debug日志和error日志) 选择全局时间筛选字段,创建模式完成 创建及分配用户和角色(管理级操作)123目前先以查看日志者和创建索引模式者及管理者区分eg: 设置一个log-view角色,仅可对dev机器上的日志进行读取操作,然后赋予xiaowu用户 创建用户 日志查看日志流模式查看 1eg: 查看module为xxx,trace-id为xiaowu-12345673453463并且是error类型的日志 discover查看1查询方式和流模式一样,看到的内容是以es(_source)实际存储格式展示的

ELK-ALERTING - 告警功能(使用告警功能必须配置ssl,配置安全性可以站内搜索[记录日志系统的安装-部署-配置-使用文档(4)] kibana本身提供了告警功能,左菜单位位置(7.14.0),但是免费支持的告警操作只有写入索引和写入kibana日志,其他功能需要dollar,19美元一个月,网上提到一个方案sentinl,但是似乎截止到21210820仅支持到kibana7.6.1的版本 创建连接器(以邮件和webhook举例), 邮件 12345678企业微信邮箱发送方主机ip : smtp.exmail.qq.comport : 465qq邮箱发送方主机ip : smtp.qq.comport : 465/587记得在账户那里开启smtp,然后密码是授权码 测试, 可以有多个接收方 飞书webhook 企业微信群机器人 发个测试 123456789{ "msg_type": "text", "content": { "...

记录下logstash的配置加解释logstash.conf(全,加注释)123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687input { beats { port => 5044 #ssl => true #ssl_certificate => "/etc/logstash/logstash.crt" #ssl_key => "/etc/logstash/logstash.key"# 1. SSL 详情可参考 }}# filter 模块主要是数据预处理，提取一些信息，方便 elasticsearch 好归类存储。# 2. grok 正则捕获 # 3. grok 插件语法介...

背景目前项目查看日志的方式较为朴素,人工线上查看log的方式也较为麻烦. 一套能查看全链路日志的系统,对每位开发来说无疑是雪中送炭的 其次,目前的业务日志中的数据是可供二次利用和开发的,而非目前仅是排查问题使用 目标 打造全员可实时查看生产日志，并能提取调用链日志 应用到后续的业务发展中(BI) apm 价值为BI业务(other/计算)做准备 夯实服务架构 便利开发查看日志,不仅是业务日志,filebeat提供了各种module以支持监控各种中间件的日志 初步设想架构图 改动点 服务 保持原有日志格式 各日志加字段['traceId','localIp','module']-以便有问题可以确定到某台机器上的某个服务 各模块traceId通过rest接口传递header(Rest插件改造) 由(网关生成traceid)orange向下传递traceId(uuid/snowflake) Elk(单点) filebeat和服务部署在同台机器上 Es-index格式暂定: ${环境/(dev/...

多索引组合查询(官方文档) 如果不对某一特殊的索引做限制，就会搜索集群中的所有文档。Elasticsearch 转发搜索请求到每一个主分片或者副本分片，汇集查询出的前10个结果，并且返回给我们。 然而，经常的情况下，你想在一个或多个特殊的索引并且在一个或者多个特殊的类型中进行搜索。我们可以通过在URL中指定特殊的索引和类型达到这种效果，如下所示： /_search 1在所有的索引中搜索所有的类型 /gb/_search 1在 gb 索引中搜索所有的类型 /gb,us/_search 1在 gb 和 us 索引中搜索所有的文档(明确指定多个索引名称，这种方式一般应用在非常精确的查询场景下，便于查询索引范围，性能平衡考虑，若索引不存在会出现错误) /g*,u*/_search 1在任何以 g 或者 u 开头的索引中搜索所有的类型(不限定死索引名称，这种方式一般采用通配符，无需判断该索引是否存在，支持前匹配、后匹配，前后匹配) /gb/user/_search ...

es分享一. 建立倒排索引认识 倒排索引是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射 12341问: 说出带"前"字的古诗词2问: 背一下李白的静夜思`窗前明月光,疑是地上霜`3问: 背诗的方式?按照书中排列顺序,先记诗名再记内容 14问: 具象化到关系库模型也就是如下 15问: 在脑子中形成的索引是这样的 123456786问: 在脑子里建立了name的索引, 关系库的表现方式就变成了如下当问到根据name找content的时候就会很快(sql: `select * from 古诗 where name = "静夜思";`)但反过来问的时候就变成如下的查询(sql: `select name from 古诗 where content like "%前%";`)(这里不考虑覆盖索引)7问: 如上所述,如果建立以"前"字作为索引查询,是不是解决了这个问题?(如下图) 12348问: 上面所说索引建立模式解决了寻找慢的问题,那么新的问题...

Elasticsearch测试数据下载/bank-demo银行数据

1 了解ES1.1.1.elasticsearch的作用elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 1.1.2.ELK技术栈elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域： 而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。 1.1.3.elasticsearch和luceneelasticsearch底层是基于lucene来实现的。 Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。 elasticsearch的发展历史： 2004年Shay Banon基于Lucene开发了Compass 2010年Shay Banon 重写了Compass，取名为Elasticsearch。 1....

1.DSL查询文档elasticsearch的查询依然是基于JSON风格的DSL来实现的。 1.1.DSL查询分类Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括： 查询所有：查询出所有数据，一般测试用。例如：match_all 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如： match_query multi_match_query 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如： ids range term 地理（geo）查询：根据经纬度查询。例如： geo_distance geo_bounding_box 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如： bool function_score 查询的语法基本一致： 12345678GET /indexName/_search{ "quer...

ES内置的Analyzer分析器es自带了许多内置的Analyzer分析器，无需配置就可以直接在index中使用： 标准分词器（standard）：以单词边界切分字符串为terms，根据Unicode文本分割算法。它会移除大部分的标点符号，小写分词后的term，支持停用词。 简单分词器（simple）：该分词器会在遇到非字母时切分字符串，小写所有的term。 空格分词器（whitespace）：遇到空格字符时切分字符串， 停用词分词器（stop）：类似简单分词器，同时支持移除停用词。 关键词分词器（keyword）：无操作分词器，会输出与输入相同的内容作为一个single term。 模式分词器（pattern）：使用正则表达式讲字符串且分为terms。支持小写字母和停用词。 语言分词器（language）：支持许多基于特定语言的分词器，比如english或french。 签名分词器（fingerprint）：是一个专家分词器，会产生一个签名，可以用于去重检测。 自定义分词器：如果内置分词器无法满足你的需求，可以自定义custom分词器，根据不同的character filte...