数据库

Usage Example： 1234567Copy 整个 database:python mysql_transfer.py --src-host=127.0.0.1 --src-user=root --src-password=123 --src-db=源db \ --tgt-host=127.0.0.1 --tgt-user=root --tgt-password=456 --tgt-db=目标dbCopy 指定 tables:python mysql_transfer.py --src-host=127.0.0.1 --src-user=root --src-password=123 --src-db=源db \ --tgt-host=127.0.0.1 --tgt-user=root --tgt-password=456 --tgt-db=目标db --tables source_table1:target_table1 source_table2:target_table2 Python Script(mysql_transfer.py)： 12345678...

关于MySQL的死锁 MySQL的死锁指的是两个事务互相等待的场景，这种循环等待理论上不会有尽头。 比如事务A持有行1的锁，事务B持有行2的锁，然后事务A试图获取行2的锁，事务B试图获取行1的锁，这样事务A要等待事务B释放行2的锁，事务B要等待事务A释放行1的锁，两个事务互相等待，谁也提交不了。 这种情况下MySQL会选择中断并回滚其中一个事务，使得另一个事务可以提交。MySQL会记录死锁的日志。 制造一个死锁的场景新建一个表，添加两条数据： 创建两个事务，事务执行的sql分别是： 事务A： 1234set autocommit=0;update medicine_control set current_count=1 where id='1';update medicine_control set current_count=1 where id='2';COMMIT; 事务B： 1234set autocommit=0;update medicine_control set current_count=2 where id=&...

sql语句优化的一些方法避免全表扫描对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 避免在 where 子句中使用!=或<>操作符应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 避免在 where 子句中对字段进行 null 值判断应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： 12345select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=0 避免在 where 子句中使用 or 来连接条件应尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如： 123456789select id from t where num=10 or num=20可以这样查询：select id from ...

配置文件 先看配置文件 启用了才有这样的记录默认是没有的 linux系统中的 /etc/my.cnf my.cnf内容：log-bin = mysqlbin # 默认配置，mysqlbin 为binlog文件名称 binlog文件一般放在/var/lib/mysql比如上面的设置重启数据库会生成mysqlbin.000001文件，并放在/var/lib/mysql下 自定义文件存放位置修改配置文件，vi /etc/my.cnf，找到log-bin的部分配置自动清理在my.cnf文件中，这个文件路径不知道的话执行mysql --help | grep 'Default options' -A 1，就会列出文件的路径来 然后重启service mysql restart，去新建的目录下看看，已经有最新的日志了 下面列几个常用的命令查看bin_log相关信息show variables like '%log_bin%'; 查看日志开启状态show variables like ...

数据库设计基本规范数据库 采用InnoDB引擎，禁用其他类型引擎 采用utf8mb4字符集 只允许访问所属数据库，禁止跨库访问 禁止临时任务表长期存在于数据库中 创建数据库/表的时候，还要对排序规则进行审查： 需要区分特殊字符：默认的general_ci 更快，但是unicode_ci 更准确，utf8mb4_general_ci中S=ß，而utf8mb4_unicode_ci中ss=ß ，这种情况unicode_ci能准确判断（参考：http://mysql.rjweb.org/utf8mb4_collations.html） 大小写敏感：默认的general_ci大小写不敏感，utf8mb4_unicode_ci大小写不敏感，但utf8mb4_bin 大小写敏感 表/列/索引命名 全部采用英文单词小写，单词间下划线分割，禁用拼音 表明中包含的单词采用单数，禁用复数 表名以**业务名称_**开头， 列名以表名**业务名称_xxx的xxx**开头，(除了逻辑删除列、创建时间、更新时间和关联其他表的列之外所有属于本表的基本字段...

转自: https://blog.csdn.net/yeahPeng11/article/details/121584343 一、MySQL用户权限 MySQL版本5.7 背景 在开发过程中数据库安装在云服务器，本地连接阿里云服务器中的MySQL就不能直接root用户连接，而每次数据库操作都要使用新建的用户与用户进行交互操作。 在使用非root用户的时，执行本地的sql文件，就需要一些权限，比如 SELECT,INSERT,UPDATE,DELETE,CREATE 等等权限 添加MySQL用户并设置权限的好处：新的SQL用户不允许访问访问属于其他SQL用户的库或表，甚至不能使用SELECT语句。新的SQL用户必须显式的被授予权限，才能执行对应的操作。 二、用户权限介绍1.权限级别 全局：可以管理整个MySQL 数据库：可以管理指定的数据库 数据表：可以管理指定数据库的指定表 字段：可以管理指定数据库的指定表的指定字段 权限存储在mysql库的user,db,tables_priv,columns_priv,procs_priv这几个系统表中，待MySQL实例启动后就加载到内存...

Mysql常见集群方式 Mysql-MMM（mysql主主复制管理器） MHA（Mysql高可用方面是一个相对成熟的方案） InnoDB Cluster（支持自动Failover，强一致性，读写分离，读库高可用，读请求负载均衡，推荐方案） 主从同步创建Master实例并启动123456docker run -p 3307:3306 --name mysql-master \-v /mydata/mysql/master/log:/var/log/mysql \-v /mydata/mysql/master/data:/var/lib/mysql \-v /mydata/mysql/master/conf:/etc/mysql \-e MYSQL_ROOT_PASSWORD=root \-d mysql:5.7 参数说明： 123-p 3307:3306:将容器的3306映射到主机的3307端口-v 挂载-e 初始化root用户密码 修改master基本配置123456789101112131415161718vim /mydata/mysql/master/...

ClickHouse什么是 ClickHouse？优势是什么，为什么选择 CH？全称：Click Stream Data WareHouse，简称 ClickHouse，是一个用于联机分析（OLAP）的列式数据库管理系统（DBMS）。 ClickHouse 的核心特性1. 完备的管理功能ClickHouse 拥有完备的管理功能，所以它称得上是一个 DBMS（Database Management System，数据库管理系统），而不仅是一个数据库。 DDL（数据定义语言）：可以动态地创建、修改或删除数据库、表和视图，而无须重启服务 DML（数据操作语言）：可以动态查询、插入、修改或删除数据 权限控制：可以按照用户粒度设置数据库或者表的操作权限，保障数据的安全性 数据备份与恢复：提供了数据备份导出与导入恢复机制，满足生产环境的要求 分布式管理：提供集群模式，能够自动管理多个数据库节点 2. 列式存储与数据压缩列式存储：想让查询变得更快，最简单且有效的方法是减少数据扫描范围和数据传输时的大小。假设一张数据表 A 拥有 50 个字段 A1～A50，以及 100 行数据。现在需要查询...

group_concat(distinct xxx)1groupUniqArray(toString(xxx)) -- 得到的是数组 列转行1groupArray(xxx) -- 得到的是数组 合并数组成一个字符串1arrayStringConcat(arr, separator) 行转列1arrayJoin(groupArray(xxx)) 去重函数1arrayDistinct(array) 将数组拼接成一行12arrayConcat(array) -- 此函数只有一个数组参数，无法设置分割符-- 可使用 arrayStringConcat(array, '分隔符') 设置分隔符 结果的最后一个1anyLast(xxx) 取出现次数前 N 的值1topK(3)(xxx) -- 取出现次数前 3 的值 复杂函数：过滤数组，取其中不等于 a 的第一个值1arrayElement(arrayFilter(x -> x != 'a', ['a','b','c'...

最近项目在尝试 ClickHouse 集群部署，但是我们在做 ETL 的时候，有个表想着为了加快响应速度，建立了分区，所以对分区知识进行了二次调研。 重要结论首先分区并不能加快查询速度，而更加适用于更新或者删除数据用。 分区数量限制by max_partitions_per_insert_block 控制，默认是 100。当插入数据到 100 以上的时候，会报错： 12345678DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT ...