小五的个人杂货铺

摘自：https://www.cnblogs.com/throwable/p/13257557.html 前提最近线上的项目使用了spring-actuator做度量统计收集，使用Prometheus进行数据收集，Grafana进行数据展示，用于监控生成环境机器的性能指标和业务数据指标。一般，我们叫这样的操作为"埋点"。SpringBoot中的依赖spring-actuator中集成的度量统计API使用的框架是Micrometer，官网是micrometer.io。在实践中发现了业务开发者滥用了Micrometer的度量类型Counter，导致无论什么情况下都只使用计数统计的功能。这篇文章就是基于Micrometer分析其他的度量类型API的作用和适用场景。全文接近3W字，内容比较干，希望能够耐心阅读，有所收获。 Micrometer提供的度量类库Meter是指一组用于收集应用中的度量数据的接口，Meter单词可以翻译为"米"或者"千分尺"，但是显然听起来都不是很合理，因此下文直接叫Meter，直接当成一个专有名词，理解...

服务器A的IP 服务器B的IP 192.168.56.110 192.168.56.111 创建持久化文件夹 1234#在192.168.56.110上执行命令mkdir -p /home/rabbitmq/cluster/rabbitmq01#在192.168.56.111上执行命令mkdir -p /home/rabbitmq/cluster/rabbitmq02 启动RabbitMQ 1234#在192.168.56.110上执行docker run -d --hostname rabbitmq01 --name rabbitmq01 --add-host=rabbitmq01:192.168.56.110 --add-host=rabbitmq02:192.168.56.111 -v /home/rabbitmq/cluster/rabbitmq01:/var/lib/rabbitmq --privileged=true -p 15672:15672 -p 5672:5672 -p 5671:5671 -p 4369:4369 -p 25672:2...

1.初识MQ1.1.同步和异步通讯微服务间通讯有同步和异步两种方式： 同步通讯：就像打电话，需要实时响应。 异步通讯：就像发邮件，不需要马上回复。 两种方式各有优劣，打电话可以立即得到响应，但是你却不能跟多个人同时通话。发送邮件可以同时与多个人收发邮件，但是往往响应会有延迟。 1.1.1.同步通讯我们之前学习的Feign调用就属于同步方式，虽然调用可以实时得到结果，但存在下面的问题： 总结： 同步调用的优点： 时效性较强，可以立即得到结果 同步调用的问题： 耦合度高 性能和吞吐能力下降 有额外的资源消耗 有级联失败问题 1.1.2.异步通讯异步调用则可以避免上述问题： 我们以购买商品为例，用户支付后需要调用订单服务完成订单状态修改，调用物流服务，从仓库分配响应的库存并准备发货。 在事件模式中，支付服务是事件发布者（publisher），在支付完成后只需要发布一个支付成功的事件（event），事件中带上订单id。 订单服务和物流服务是事件订阅者（Consumer），订阅支付成功的事件，监听到事件后完成自己业务即可。 为了解除事件发布者与订阅者之间的耦合，两者并不...

惰性队列消息堆积问题当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。之后发送的消息就会成为死信，可能会被丢弃，这就是消息堆积问题。 解决消息堆积有两种思路： 增加更多消费者，提高消费速度。也就是我们之前说的work queue模式 扩大队列容积，提高堆积上限 要提升队列容积，把消息保存在内存中显然是不行的。 惰性队列从RabbitMQ的3.6.0版本开始，就增加了Lazy Queues的概念，也就是惰性队列。惰性队列的特征如下： 接收到消息后直接存入磁盘而非内存 消费者要消费消息时才会从磁盘中读取并加载到内存 支持数百万条的消息存储 基于命令行设置lazy-queue而要设置一个队列为惰性队列，只需要在声明队列时，指定x-queue-mode属性为lazy即可。可以通过命令行将一个运行中的队列修改为惰性队列： 1rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy&...

消息队列在使用过程中，面临着很多实际问题需要思考： 消息可靠性消息从发送，到消费者接收，会经理多个过程： 其中的每一步都可能导致消息丢失，常见的丢失原因包括： 发送时丢失： 生产者发送的消息未送达exchange 消息到达exchange后未到达queue MQ宕机，queue将消息丢失 consumer接收到消息后未消费就宕机 针对这些问题，RabbitMQ分别给出了解决方案： 生产者确认机制 mq持久化 消费者确认机制 失败重试机制 1.生产者消息确认RabbitMQ提供了publisher confirm机制来避免消息发送到MQ过程中丢失。这种机制必须给每个消息指定一个唯一ID。消息发送到MQ以后，会返回一个结果给发送者，表示消息是否处理成功。 返回结果有两种方式： publisher-confirm，发送者确认 消息成功投递到交换机，返回ack 消息未投递到交换机，返回nack publisher-return，发送者回执 消息投递到交换机了，但是没有路由到队列。返回ACK，及路由失败原因。 注意： 1.1.修改...

现象 RabbitMQ的管控台有几万条消息处于ready状态，还有几百条unacked的消息。 队列阻塞-分析原因 consumer消费处理错误消息失败后没有正常进行ack, 正常的消息也不再被消费, 随即导致队里阻塞 但为什么正常消息也没有被正常消费呢? 其实这是RabbitMQ的一种保护机制。防止当消息激增的时候，海量的消息进入consumer而引发consumer宕机。 RabbitMQ提供了一种QOS(服务质量保证)功能，即在非自动确认的消息的前提下，限制信道上的消费者所能保持的最大未确认的数量。可以通过设置PrefetchCount实现。 举例说明:可以理解为在consumer前面加了一个缓冲容器，容器能容纳最大的消息数量就是PrefetchCount。如果容器没有满RabbitMQ就会将消息投递到容器内，如果满了就不投递了。当consumer对消息进行ack以后就会将此消息移除，从而放入新的消息。 12345678910listener: simple: # 消费端最小并发数 concurrency: 1 # 消费端最大并发数 m...

什么是 CondaConda 是一款功能强大的软件包管理器和环境管理器，可以在 Windows 的 Anaconda 提示符或 macOS 或 Linux 的终端窗口中使用命令行命令 Conda 可以快速安装、运行和更新软件包及相关依赖项。 Conda 可以在本地计算机上创建、保存、加载和切换特定项目的软件环境。 Conda/Miniconda/Anaconda三者的区别下面通过一张图，形象的展示了 Conda 环境和软件包管理工具与 Miniconda 和 Anaconda Python 发行版（注：Anaconda Python 发行版现在有超过 150 个额外的软件包！）之间的区别。 安装地址【二选一即可】Miniconda Windows 、Mac 系统直接下载安装,下载安装教程见：https://docs.conda.io/en/latest/miniconda.html Linux 系统通过命令行安装，下载安装教程见：https://docs.conda.io/projects/conda/en/stable/user-guide/inst...

摘自：https://www.cnblogs.com/liuzhongkun/p/16797346.html Poetry概述介绍Poetry 是Python 中用于依赖管理和**打包的工具。**它允许您声明项目所依赖的库，并将为您管理（安装/更新）它们。Poetry 提供了一个锁定文件以确保可重复安装，并且可以构建您的项目以进行分发。 作为一个传统虚拟环境的实现，poetry 凭借其强大的依赖分析能力被大量项目所推荐的虚拟环境管理工具。 对于绝大部分的开发者而言，poetry 作为首选的虚拟环境管理工具是最优方案，其强大的依赖分析能力、环境封装能力以及庞大的社区均可为你的开发保驾护航，这也是我目前最为推荐所有 python 开发者所掌握的虚拟环境管理工具。 环境配置官方推荐安装1curl -sSL https://install.python-poetry.org | python3 - 环境变量： POETRY_HOME：安装目录 POETRY_PREVIEW：是否安装预发布版本，如果需要，设置为POETRY_PREVIEW=1 POETRY_VERSION：...

PytestPytest之fixture的使用fixture的功能fixture是pytest特有的功能，用以在测试执行前和执行后进行必要的准备和清理工作。使用pytest.fixture标识，定义在函数前面。在你编写测试函数的时候，你可以将此函数名称做为传入参数，pytest将会以依赖注入方式，将该函数的返回值作为测试函数的传入参数。 主要的目的是为了提供一种可靠和可重复性的手段去运行那些最基本的测试内容。 从功能上看来，与setup、teardown相似，但是优势明显： 命名方式灵活，不局限于setup和teardown这几个命名 conftest.py 配置里可以实现数据共享，不需要import就能自动找到一些配置 scope="module" 每一个.py文件调用一次 scope="session" 可以实现多个.py跨文件使用一个session来完成多个用例 fixture的参数详解 @pytest.fixture(scope = "function", params=None, autouse=Fal...

死信初识死信交换机什么是死信交换机什么是死信？ 当一个队列中的消息满足下列情况之一时，可以成为死信（dead letter）： 消费者使用basic.reject或 basic.nack声明消费失败，并且消息的requeue参数设置为false 消息是一个过期消息，超时无人消费 要投递的队列消息满了，无法投递 如果这个包含死信的队列配置了x-dead-letter-exchange属性，指定了一个交换机，那么队列中的死信就会投递到这个交换机中，而这个交换机称为死信交换机（Dead Letter Exchange，检查DLX）。 如果创建的死信交换机的类型是direct路由，或者topics主题模式，那么需要指定消息的x-dead-letter-routing-key，将被投递到哪个队列中，因为交换机下可能绑定了多个队列，交换机与队列之间绑定了一个key ，即BindingKey，投递消息时指定一个RoutingKey，只有BindingKey与RoutingKey匹配成功，该条消息才会被交换机投递到相应BindingKey的队列 如图，一个消息被消费者拒绝了，变成了死信： ...