关于clickhouse分区问题
最近项目在尝试clickhouse集群部署,但是我们在做etl的时候,有个表想着为了加快响应速度,建立了分区,所以对分区知识进行了二次调研首先分区并不能加快查询速度，而更加适用于更新或者删除数据用.分区数量限制由max_partitions_per_insert_block控制,默认是100当插入数据到100以上的时候,会报错提示 12345678DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow ...
记录elementary OS的安装以及配置（基于elementaryos-6.0-stable）
记录elementary OS的安装以及配置（基于elementaryos-6.0-stable）elementary OS官网 下载好镜像<elementaryos-6.0-stable.20211103.iso> rufus官网 再下载好刻录启动盘工具 依次点击选择，开始即可（uefi对应gtp，mbr对应bios） 然后重启机器，f12进入，选择对应uefi下的usb选项，进入。elementaryos-6.0-stable镜像基于ubuntu20.04，开始页面是三个选项，第二个是清空磁盘做系统，选择进入，然后分区。最开始的加密密码不用选，麻烦。直接don‘t加密，然后进入。 最佳分区方案12345678910111213SWAP分区：实现虚拟内存，建议大小是物理内存的1-2倍/boot分区：用来存放与系统启动有关的程序，建议大小为200MB以内/usr分区：用来存放系统中的应用程序，相关数据较多，建议总硬盘的40%/var分区：用来存放系统中经常变化的数据以及日志文件，建议大小为5GB/home分区：存放普通用户的数据，建议大小为剩下的空间。/分区...
windows共享文件夹
首先需要启用Guest用户，一般默认是禁用的，按下Win+R打开运行窗口，输入lusrmgr.msc命令，回车，打开本地用户和组(本地) 右键Guest用户，打开属性，把“账户已禁用”前边的勾去掉，点击应用，确定。如果有必要，可右键Guest，点击设置密码（有时访问必须得有密码才行，此时也可不用设置，等需要的时候再设置也行）。此时账户就没有问题了，接下来共享文件夹。 右键需要共享的文件夹，打开属性，切换到共享界面，点击“共享”按钮。 点击“添加”按钮前边的下拉框，选中Guest账户，点击添加按钮，此时Guest用户就出现在了共享用户列表中，然后根据自己需求，在权限级别一栏选择对应选取即可，我这里选择的是读取和写入。然后点击下边的“共享”按钮，共享结束后，点击“完成”按钮。 点击“高级共享”按钮，然后点击下方的“权限”按钮 在权限界面，选中Everyone用户，点击删除（请注意，这里设置的权限，也是正常系统用户访问该文件夹的权限，如果非必要或者不清楚，那就不要删除了），然后点击“添加”按钮。 在“输入对象名称”下边输入Guest...
filebeat采集json日志到es
需求描述使用filebeat从log文件中采集json格式的日志，发送到ES中，并在ES中显示json日志的各字段和数据。 问题一：如何让采集Json格式的日志在filebeat.yml文件中进行相应的配置： 12345678910111213141516171819202122232425262728293031323334- type: log enabled: true paths: - E:\testjson.log processors: - script: lang: javascript source: > function process(event) { var message = event.Get("message"); message = message.replace(/\\x22/g,'"'); message = message.replace(/\,-/g,'&...
日志系统 - 背景
背景目前项目查看日志的方式较为朴素,人工线上查看log的方式也较为麻烦. 一套能查看全链路日志的系统,对每位开发来说无疑是雪中送炭的 其次,目前的业务日志中的数据是可供二次利用和开发的,而非目前仅是排查问题使用 目标 打造全员可实时查看生产日志，并能提取调用链日志 应用到后续的业务发展中(BI) apm 价值为BI业务(other/计算)做准备 夯实服务架构 便利开发查看日志,不仅是业务日志,filebeat提供了各种module以支持监控各种中间件的日志 初步设想架构图 改动点 服务 保持原有日志格式 各日志加字段['traceId','localIp','module']-以便有问题可以确定到某台机器上的某个服务 各模块traceId通过rest接口传递header(Rest插件改造) 由(网关生成traceid)orange向下传递traceId(uuid/snowflake) Elk(单点) filebeat和服务部署在同台机器上 Es-index格式暂定: ${环境/(dev/...
日志生命周期处理
日志生命周期处理脚本的方式 查出30天以前的索引并删掉 12345678910111213#!/bin/shcurl -H'Content-Type:application/json' -d'{ "query": { "range": { "pt": { "lt": "now-30d", "format": "epoch_millis" } } }}' -XPOST -H "Authorization:Basic ZWxhc3RpYzpTb3BlaU1HcjA5M0AkJV5FTEs=" "https://ip:9200/dev02-*/_delete...
记录下logstash的配置加解释
记录下logstash的配置加解释logstash.conf(全,加注释)123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687input { beats { port => 5044 #ssl => true #ssl_certificate => "/etc/logstash/logstash.crt" #ssl_key => "/etc/logstash/logstash.key"# 1. SSL 详情可参考 }}# filter 模块主要是数据预处理，提取一些信息，方便 elasticsearch 好归类存储。# 2. grok 正则捕获 # 3. grok 插件语法介...
记录日志系统的安装-部署-配置-使用文档(1)
[[日志系统使用文档地址]] 站内搜索[记录日志系统的安装->部署->配置->使用文档(3)] 服务器es, logstash, kibana内存: 8G磁盘: 500G处理器: 4/8核带宽: 2m 1234567以上配置是原来写的,在之后的线上环境很快就得到了验证, 结果就是直接崩溃建议每天产生20g到30g的起码弄个以下的配置内存: 16G磁盘: 500g-1t(硬盘不值钱)处理器: 4/8核带宽: 5m filebeat(被抓取服务所在机器)1略... 端口12elk服务器对外开放5601elk服务器对filebeat所在服务器内网开放5044 安装(单点) 安装完filebeat之后,需要给inputs下配置文件基于root权限或者go+w权限chown root /etc/filebeat/inputs/* 或者 chown go+w /etc/filebeat/inputs/* filebeat(基于docker)123456789101112131415...
记录日志系统的安装-部署-配置-使用文档(2)
日志系统配置(长期补充)elastic各产品配置/学习手册所有的ip不要写本地ip filebeat.yml 如果同时指定了exclude_lines和include_lines, Filebeat将会先校验include_lines，再校验exclude_lines 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149# Enable filebeat...
记录日志系统的安装-部署-配置-使用文档(3)
日志系统使用文档(长期完善)登录1输入对应用户密码 索引模式(管理级操作)1默认初始进来是这个页面,建立匹配的索引模式方可进行日志查询 创建索引模式1先创建匹配模式,例如我这里创建的索引模式名称为sopei-dev02*,则代表可查看以sopei-dev02开头的索引下的日志(备注: 下面可以看到匹配到了8月9日的debug日志和error日志) 选择全局时间筛选字段,创建模式完成 创建及分配用户和角色(管理级操作)123目前先以查看日志者和创建索引模式者及管理者区分eg: 设置一个log-view角色,仅可对dev机器上的日志进行读取操作,然后赋予xiaowu用户 创建用户 日志查看日志流模式查看 1eg: 查看module为xxx,trace-id为xiaowu-12345673453463并且是error类型的日志 discover查看1查询方式和流模式一样,看到的内容是以es(_source)实际存储格式展示的
公告