clickhouse创建分布式表和本地表并远程同步mysql数据
此处以mergetree引擎举例，如果是用于高可用开发，还是需要换成replicatemergetree系列引擎1234567891011121314151617181920212223242526272829303132333435363738394041424344454647-- tablename和clustername不用提前建立好,会自动建立-- 分布式表和本地表都需要删除drop table if exists <database>.<tablename_local> on cluster <clustername>;drop table if exists <database>.<tablename_local> on cluster <clustername>;-- 先创建本地表(因为同步远程表没办法以集群模式同步,所以可以先同步表结构,不插入数据,然后再使用insert同步数据到各个节点)CREATE TABLE...
clickhouse简述
clickhouse什么是clickhouse？优势是什么，为什么选择ch？ 全称 ：Click Stream Data WareHouse 简称ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 ClickHouse的核心特性 ClickHouse拥有完备的管理功能，所以它称得上是一个DBMS（Database Management...
clickhouse安装及简单使用
官方文档 安装(centos7) 检测环境许可 1$ grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported" 添加官方存储库 123sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64 如果您想使用最新的版本，请用testing替代stable(我们只推荐您用于测试环境)。prestable有时也可用。 安装 1sudo yum install clickhouse-server...
clickhouse工作中常用命令(长期)
全量从mysql导入数据到clickhouse(并建表)123clickhouse-client -m -u default --password 123456 --query="CREATE TABLE clickhouse_database_name.clickhouse_table_name ENGINE = MergeTree ORDER BY id AS SELECT * FROM mysql('ip:port', 'database_name', 'table_name','name', 'password');"; clickhouse数据导出到csv文件1clickhouse-client -h 127.0.0.1 --database="db" --query="select * from db.test_table FORMAT CSV" >...
clickhouse常用函数
group_concat(distinct xxx）1groupUniqArray(toString(xxx)) :得到的是数组 列转行1groupArray(xxx) :得到的是数组 合并数组成一个字符串1arrayStringConcat(arr, separator) 行转列1arrayJoin(groupArray(xxx)) 去重函数1arrayDistinct(array） 将数组拼接成一行12arrayConcat(array）:此函数只有一个数组参数，无法设置分割符，可使用arrayStringConcat(array,'分隔符')设置分隔符 结果的最后一个1anyLast(xxx) 取出现次数前(3)的值1topK(3)(xxx) 复杂函数,过滤数组,取其中不等于a的第一个值1arrayElement(arrayFilter(x ->...
关于clickhouse分区问题
最近项目在尝试clickhouse集群部署,但是我们在做etl的时候,有个表想着为了加快响应速度,建立了分区,所以对分区知识进行了二次调研首先分区并不能加快查询速度，而更加适用于更新或者删除数据用.分区数量限制由max_partitions_per_insert_block控制,默认是100当插入数据到100以上的时候,会报错提示 12345678DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow...
记录elementary OS的安装以及配置（基于elementaryos-6.0-stable）
记录elementary OS的安装以及配置（基于elementaryos-6.0-stable）elementary...
windows共享文件夹
...
filebeat采集json日志到es
需求描述使用filebeat从log文件中采集json格式的日志，发送到ES中，并在ES中显示json日志的各字段和数据。 问题一：如何让采集Json格式的日志在filebeat.yml文件中进行相应的配置： 12345678910111213141516171819202122232425262728293031323334- type: log enabled: true paths: - E:\testjson.log processors: - script: lang: javascript source: > function process(event) { var message = event.Get("message"); message = message.replace(/\\x22/g,'"'); message =...
日志生命周期处理
日志生命周期处理脚本的方式 查出30天以前的索引并删掉 12345678910111213#!/bin/shcurl -H'Content-Type:application/json' -d'{ "query": { "range": { "pt": { "lt": "now-30d", "format": "epoch_millis" } } }}' -XPOST -H "Authorization:Basic ZWxhc3RpYzpTb3BlaU1HcjA5M0AkJV5FTEs="...
公告