自定义监控指标开发(二):Prometheus介绍及PromQL的使用
介绍Prometheus是一套成熟且流行的系统和服务监控系统，它几乎满足了监控的所有能力。 Grafana, 它和Prometheus相比更侧重的是图形化展示，有强大、灵活的仪表盘体系，我们会把基于Prometheus收集的数据作为数据源导入到Grafana。 监控模式目前，监控系统采集指标有两种方式，一种是『推』，另一种就是『拉』： 推的代表有 ElasticSearch，InfluxDB，OpenTSDB 等，需要你从程序中将指标使用 TCP，UDP 等方式推送至相关监控应用，只是使用 TCP 的话，一旦监控应用挂掉或存在瓶颈，容易对应用本身产生影响，而使用 UDP 的话，虽然不用担心监控应用，但是容易丢数据。 拉的代表，主要代表就是 Prometheus，让我们不用担心监控应用本身的状态。而且可以利用 DNS-SRV 或者 Consul 等服务发现功能就可以自动添加监控。 如何监控Prometheus 监控应用的方式非常简单，只需要进程暴露了一个用于获取当前监控样本数据的 HTTP 访问地址。这样的一个程序称为Exporter，Exporter 的实例称为一个 Target...
gitlab安装与更新
安装官方文档链接：https://docs.gitlab.cn/jh/index.html 使用外部 PostgreSQL 服务配置 GitLab：https://docs.gitlab.cn/jh/administration/postgresql/external.html 以下安装方式使用内置postgresql 安装必要组件1yum -y install curl policycoreutils-python openssh-server perl rpm方式源地址：https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ 123wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.9.0-ce.0.el7.x86_64.rpmrpm -ivh gitlab-ce-12.9.0-ce.0.el7.x86_64.rpm Docker方式12345678910111213141516mkdir -p ~/data/gitla...
sonarqube的安装及使用
前言良好的代码习惯是一个优秀程序员应该具备的品质，但靠人的习惯与记忆来保证代码质量，始终不是一件靠谱的事。在计算机行业应该深知，只要是人为的，都会有操作风险。本文讲解如何通过Docker搭建代码检测平台SonarQube，并使用它来检测项目的代码。 安装Sonarqube这里选择免费的社区版Community（对应docker版本：community），另外还有Developer、Enterprise等收费版本，功能更强大，具体差别如下： 注： v8.9支持nodejs <= 15.x，jdk 8 v10支持nodejs 14.17+，jdk 11 or jdk17 先启动容器docker-compose文件参考：https://github.com/SonarSource/docker-sonarqube/tree/master/example-compose-files 镜像参考：https://hub.docker.com/_/sonarqube/tags 7.9之后官方支持内嵌数据库H2 但是使用H2数据库有会以下限制： 内嵌数据库无法扩展，...
Docker日志配置和磁盘清理
Docker日志配置和磁盘清理在linux上，容器日志一般存放在/var/lib/docker/containers/container_id/ 设置Docker容器日志大小,docker-compose的max-size(限制在5GB) 例子: 12345678nginx: image: nginx:1.12.1 restart: always logging: driver: “json-file” options: max-size: “5g” max-file: 3 max-size=500m，意味着一个容器日志大小上限是500M，max-file=3，意味着一个容器有三个日志，分别是id+.json、id+1.json、id+2.json。 或者统一配置/etc/docker/daemon.json "log-driver":"json-file","...
自定义监控指标开发(三):Grafana配置及使用
介绍Grafana 是一款采用 go 语言编写的开源应用，可以从Elasticsearch，Prometheus，Graphite，InfluxDB等各种数据源中获取数据，并通过精美的图形将其可视化。 除了Prometheus的AlertManager 可以发送报警，Grafana 同时也支持告警。Grafana 可以无缝定义告警在数据中的位置，可视化的定义阈值，并可以通过钉钉、email等平台获取告警通知。最重要的是可直观的定义告警规则，不断的评估并发送通知。 由于Grafana alert告警比较弱，大部分告警都是通过Prometheus Alertmanager进行告警. 安装见：https://github.com/behappy-project/behappy-docker-application/tree/master/grafana 图表配置 在时序图表配置场景下，我们需要核心关注配置的有: Metrics: promQL查询语句【注：当使用rancher部署方式时，此处编写会有乱码情况，解决办法是在PrometheusUI中编写粘贴到这里】 Legen...
结合Rancher使用监控系统
rancher官方文档 一个不错的Prometheus中文网站 Grafana安装文档 注: 本文Rancher版本为rancher2.6.x 一定要记得在hosts文件编辑这些集群的host, 使这些台机器可以通过hostname互通 安装Charts 配置详细配置：https://github.com/prometheus-community/helm-charts/blob/main/charts/kube-prometheus-stack/values.yaml 配置Prometheus、Alerting以及Grafana 默认Prometheus的admin api是不开启的，如果希望通过api方式操作Prometheus数据，则需要打开admin api 可以配置各项【grafana/prometheus/alertmanager】的enable参数来控制是否安装此工作负载 已知问题有一个已知问题，K3s 群集需要更多的默认内存。如果你在 K3s 集群上启用监控，rancher lab建议将prometheus.prometheus...
结合小乌龟使用git
结合小乌龟使用git 下载最新版https://tortoisegit.org/download/ 自动检测 Git 的安装路径 下一步,填写姓名和邮件地址,只作为提交时的记录 生成公钥/私钥(用于ssh) 点击 Generate,并不断移动鼠标在空白处 待 Generate 进度完成后,复制公钥信息到github或者其他地方(建议复制保存起来); 点击 Save private key 保存密钥,不必添加密码短语: 结合github的使用(gitlab和gitee一样) 添加公钥到 Github,登录https://github.com/settings/keys 添加新的 SSH 公钥(将生成的key复制，粘贴到git账户中的SSH public key中，这就是适用于git的公钥) 将私钥永久保存在Pageant Key List中 运行TortoiseGit开始菜单中的Pageant程序，程序启动后将自动停靠在任务栏中，图标显示为，双击该图标，弹出key管理列表，如下图示
基于Micrometer和Prometheus实现度量和监控的方案
摘自：https://www.cnblogs.com/throwable/p/13257557.html 前提最近线上的项目使用了spring-actuator做度量统计收集，使用Prometheus进行数据收集，Grafana进行数据展示，用于监控生成环境机器的性能指标和业务数据指标。一般，我们叫这样的操作为"埋点"。SpringBoot中的依赖spring-actuator中集成的度量统计API使用的框架是Micrometer，官网是micrometer.io。在实践中发现了业务开发者滥用了Micrometer的度量类型Counter，导致无论什么情况下都只使用计数统计的功能。这篇文章就是基于Micrometer分析其他的度量类型API的作用和适用场景。全文接近3W字，内容比较干，希望能够耐心阅读，有所收获。 Micrometer提供的度量类库Meter是指一组用于收集应用中的度量数据的接口，Meter单词可以翻译为"米"或者"千分尺"，但是显然听起来都不是很合理，因此下文直接叫Meter，直接当成一个专有名词，理解...
trivy的安装及使用
Trivy 概述 官方地址：https://aquasecurity.github.io/trivy GITHUB：https://github.com/aquasecurity/trivy Trivy（tri 发音为 trigger，vy 发音为 envy）是一个简单而全面的漏洞/错误配置扫描器，用于容器和其他工件。 软件漏洞是软件或操作系统中存在的故障、缺陷或弱点。 Trivy 检测操作系统包（Alpine、RHEL、CentOS 等）和特定语言包（Bundler、Composer、npm、yarn 等）的漏洞。 此外，Trivy 会扫描基础设施即代码 (IaC) 文件，例如 Terraform 和 Kubernetes，以检测使你的部署面临攻击风险的潜在配置问题。 Trivy 易于使用。 只需安装二进制文件，你就可以开始扫描了。 扫描所需要做的就是指定一个目标，例如容器的图像名称。 Trivy 检测两种类型的安全问题 漏洞 配置错误 Trivy 可以扫描三种不同的工件 容器镜像 文件系统 Git存储库 Trivy 可以在两种不同的模式下运行 独立 客户...
利用coscmd上传文件到腾讯云cos
安装Coscmd1pip install coscmd 配置Coscmd123# region: https://xxx.cos.ap-guangzhou.myqcloud.comcoscmd config -a <secret_id> -s <secret_key> -b <bucket> -r <region:这里写ap-guangzhou> [-m <max_thread>] [-p <parts_size>] 名称 描述 有效值 secret_id 必选参数，APPID对应的密钥ID可从COS控制台左侧栏【密钥管理】或云API密钥控制台获取 字符串 secret_key 必选参数，APPID对应的密钥Key可从COS控制台左侧栏【密钥管理】或云API密钥控制台获取 字符串 bucket 必选参数，指定的存储桶名称，bucket的命名规则为{name}-{appid} ，参考创建存储桶 字符串 region 必选参数，存储桶所在地域。参考可用地域 字符串 max_thre...
公告