故障排查

概述接口慢调用是生产环境中常见且影响严重的问题，本文记录两次完整的排查过程，展示从现象发现到根因定位的系统化方法论。 核心收获： 🔍 系统化的排查思路 📊 多层次问题定位方法 🛠️ 实用监控工具组合 💡 预防性措施建议 适用场景： 接口响应时间过长 用户体验下降 系统资源异常 雪崩风险预警 问题背景现象描述用户反馈： 系统商户端出现响应慢、加载慢的问题 影响范围： 移动端应用加载缓慢 部分接口超时 用户体验显著下降 慢调用的危害业务影响： 维度 影响 后果 用户体验 加载慢、卡顿 应用卸载率↑，品牌口碑↓ 项目交付 无法达到SLA 项目延期，客户投诉 系统稳定性 雪崩效应 服务级联故障，系统不可用 雪崩效应链路： 1234567891011接口慢调用 ↓超时增多 ↓大量重试 ↓资源耗尽 ↓服务降级/不可用 ↓级联故障（雪崩） 排查思路分层排查法自顶向下的排查策略： 123451. 用户层：确认影响范围2. 网关层：检查状态码和日志3. 应用层：分析资源使用情况4. 服务层：追踪调用链路5. 数据层：排...

Pod 状态说明 状态 含义 排查 CrashLoopBackOff 容器反复崩溃 查看日志、资源限制 ImagePullBackOff 镜像拉取失败 检查镜像名、网络 CreateContainerError 创建容器失败 检查配置、权限 OOMKilled 内存不足 增加 memory limits Exit Code 规则范围： 0-255 分类： 0：正常退出 1-128：程序异常 129-255：外部信号 转换公式： 12负数：256 - (|code| % 256)正数：code % 256 常见退出码 Code 信号 含义 原因 0 - 正常退出 Job完成 1 - 程序错误 代码bug、配置错误 2 - Shell错误 命令使用错误 126 - 不可执行 权限问题 127 - 命令未找到 PATH错误、拼写错误 137 SIGKILL 强制杀死 OOM、kill -9 139 SIGSEGV 段错误 内存访问错误 143 SIGTERM 正常终止 docker stop 255 - 退出码超...

问题总结在 Kubernetes 环境下，服务间访问遇到多个 DNS 和网络相关问题： 问题 1：Alpine 镜像 DNS 解析失败服务使用 node:xxx-alpine 镜像，服务间访问报错：getaddrinfo EAI_AGAIN 问题 2：ClusterIP 访问超时非 Alpine 镜像，使用 ClusterIP 访问频繁出现超时问题：connect ECONNRESET、read ECONNRESET 以及 axios 的 timeout 问题 3：DNS 访问报错非 Alpine 镜像，使用 DNS 访问报错：getaddrinfo ENOTFOUND 问题 4：CoreDNS I/O 超时CoreDNS 报错：[ERROR] plugin/errors: 2 . NS: read udp 10.42.2.5:38764->183.60.82.98:53: i/o timeout 详细背景见：https://github.com/k3s-io/k3s/issues/5897 问题排查过程问题 1：Alpine 镜像 DNS 解析问题问题现象：...