分布式系统

引言在微服务架构中，一个用户请求通常会流经多个服务。为了快速定位问题和分析系统瓶颈，我们需要一种方法来追踪这个请求在整个分布式系统中的调用链。分布式链路追踪应运而生，它通过为每个请求分配一个全局唯一的Trace ID，并将这个ID在服务调用间传递，使得我们可以将散落在各个服务中的日志串联起来。 Logback、Log4j等日志框架提供的MDC（Mapped Diagnostic Context，映射调试上下文）功能，是实现链路追踪的利器。MDC本质上是一个与当前线程绑定的ThreadLocal哈希表，我们可以在其中存入键值对（如Trace ID），并在日志格式中引用它，从而轻松地为该线程产生的所有日志都带上统一的追踪标识。 本文将详细介绍如何结合Spring Boot、Logback和MDC，从零开始实现一个轻量级的分布式链路追踪方案，并解决在多线程和跨服务HTTP调用场景下Trace ID丢失的问题。 MDC介绍MDC(Mapped Diagnostic Context) 是 Logback 和 Log4j 等日志框架提供的一种在多线程环境下进行诊断和调试的工具。其核心原理是利...

引言Apache Kafka 是一款开源的分布式事件流平台，被广泛应用于高性能数据管道、流分析、数据集成和关键任务应用。它以其高吞吐量、可扩展性和持久性著称，成为现代数据架构中不可或缺的一部分。本文将从 Kafka 的基础概念、核心架构、生产者、消费者、Broker机制，一直到高级特性如事务、幂等性、文件存储和性能优化，提供一个全面而深入的指南。 Kafka概述定义 Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。 发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。 Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。 消息队列目前企业中比较常见的消息队列产品主要有 Kafka、ActiveMQ 、RabbitMQ 、RocketMQ 等。 在大数据场景主要采用 Kafka 作为消息队列...

前言 在开发高并发系统时，有三把利器用来保护系统：缓存、降级和限流。那么何为限流呢？顾名思义，限流就是限制流量，就像你宽带包了 1 个 G 的流量，用完了就没了。通过限流，我们可以很好地控制系统的 QPS，从而达到保护系统的目的。本篇文章将会介绍一下常用的限流算法以及他们各自的特点。 几种常见的限流方法计数器固定窗口算法计数器算法是限流算法里最简单也是最容易实现的一种算法。 比如我们规定，对于 A 接口来说，我们 1 分钟的访问次数不能超过 100 个。那么我们可以这么做：在一开始的时候，我们可以设置一个计数器 counter，每当一个请求过来的时候，counter 就加 1，如果 counter 的值大于 100 并且该请求与第一个请求的间隔时间还在 1 分钟之内，那么说明请求数过多；如果该请求与第一个请求的间隔时间大于 1 分钟，且 counter 的值还在限流范围内，那么就重置 counter。具体算法的示意图如下： 伪代码12345678910111213141516171819202122232425public class CounterTest { ...