proto编译引用外部包问题
proto编译引用外部包问题在test.proto文件中引用了一个外部包: 1import "google/api/annotations.proto"; 当使用命令编译的时候提示找不到包： 123# protoc --go_out=plugins=grpc:. ./test.protogoogle/api/annotations.proto: File not found.test.proto:5:1: Import "google/api/annotations.proto" was not found or had errors. 解决去github上将对应的包下载下来放在$GOPATH/src下，例如这里缺失google/api。 去gooogleapis将项目下载下来，并将整个项目放到$GOPATH/src，此时的完整路径应该是: 1$GOPATH/src/google/api/annotations.proto 这才完成了第一步，如果这时候去直接执行protoc编译命令，依旧会得到上面的报错信息，protoc并没有成功的获...
使用metricbeats监控k8s
简介 Metricbeat 是服务器上的轻量级收集器，用于定期收集主机和服务的监控指标【包括events】。 Metribeat 默认收集系统指标，但也包含大量其他模块，用于收集 Nginx、Kafka、MySQL、Redis 等服务的指标。支持的模块的完整列表可以在 Elastic 官网查看：https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-modules.html。 kube-state-metrics官方地址：https://github.com/kubernetes/kube-state-metrics 注：对于使用 prometheus-operator/kube-prometheus 的用户， kube-prometheus 将 kube-state-metrics 作为其组件之一。 如果已经安装了 kube-prometheus，则无需安装 kube-state-metrics。 首先，我们需要安装 kube-state-metrics，这是一个组件，它是一个侦听 Kuber...
Nginx配置gRPC协议
Nginx配置gRPC请求Nginx 在 1.13.10 中，新增了对gRPC的原生支持。有了对 gRPC 的支持，NGINX 就可以代理 gRPC TCP 连接，还可以终止、检查和跟踪 gRPC 的方法调用。 Nginx需要引入模块：--with-http_ssl_module --with-http_v2_module 为已经安装的Nginx添加新的编译模块： 进入解压的Nginx目录 执行命令：./configure --with-http_ssl_module --with-http_v2_module 执行命令：make && make install。执行make install时会将原有的文件替换掉，且会备份之前的文件 使用基础使用方式在客户端和服务器端之间插入 NGINX，NGINX 为服务器端的应用程序提供了一个稳定可靠的网关。 NGINX 使用 HTTP 服务器监听 gRPC 流量，并使用 grpc_pass 指令代理流量。 为 NGINX 创建以下代理配置，在端口 80 上侦听未加密的 gRPC 流量并将请求转发到端口 50051 上...
关于Sidecar注入以及问题记录
安装 Sidecar注入为了充分利用 Istio 的所有特性，网格中的 Pod 必须运行一个 Istio Sidecar 代理。 下面的章节描述了向 Pod 中注入 Istio Sidecar 的两种方法：使用 istioctl 手动注入或启用 Pod 所属命名空间的 Istio Sidecar 注入器自动注入。 当 Pod 所属命名空间启用自动注入后，自动注入器会使用准入控制器在创建 Pod 时自动注入代理配置。 手动注入直接修改配置，如 Deployment，并将代理配置注入其中。 如果您不确定使用哪一种方法，建议使用自动注入。 自动注入 Sidecar使用 Istio 提供的准入控制器变更 Webhook， 可以将 Sidecar 自动添加到可用的 Kubernetes Pod 中。 虽然准入控制器默认情况下是启用的，但一些 Kubernetes 发行版会禁用这些控制器。 如果出现这种情况，根据指示说明来启用准入控制器。 当您在一个命名空间中设置了 istio-injection=enabled 标签，且 Injection Webhook 被启用后，任何新的 Pod 都有...
gRPC配置参数使用记录
参考： 参数配置 service_config 重试
ab压测工具使用
Apache Benchmark(简称ab) 是Apache安装包中自带的压力测试工具 ，简单易用 安装(centos)123yum -y install httpd-toolsorapt -y install apache2-utils ab参数说明1234567891011121314151617181920212223242526272829303132333435363738394041424344454647-n：一个要执行的次数。默认为1。【-n和-c一般成对出现。eg[-c 10 -n 1000]：同时处理10个请求,每组运行(1000/10)次,必须满足n能整除c】-c：单次发出的并发请求数。默认为1。【-n和-c一般成对出现。eg[-c 10 -n 1000]：同时处理10个请求,每组运行(1000/10)次,必须满足n能整除c】-t：测试所进行的最大秒数。用于测试的最大秒数是50000【等价于-n 50000】，它可以使对服务器的测试限制在一个固定的总时间以内。-p postfile：File containing data to POST. Remem...
学习nacos - 注册中心,配置中心
Nacos是SpringCloudAlibaba的组件，而SpringCloudAlibaba也遵循SpringCloud中定义的服务注册、服务发现规范。因此使用Nacos和使用Eureka对于微服务来说，并没有太大区别。 主要差异在于： 依赖不同 服务地址不同 注册中心pom 1234567<dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-alibaba-dependencies</artifactId> <version>2.2.6.RELEASE</version> <type>pom</type> <scope>import</scope></dependency> 1234<dependency> <groupId>com.alibaba.cloud<...
关于DataRowException, internal schema representation is probably ...异常的调试记录
异常:DataRowException, internal schema representation is probably out of sync with real database schema 123456789起初异常信息打印的不全, 但是浑然不知,后来在打印信息里发现flink并没有打印出应该打印的日志,然后去查了下,是缺少依赖包包加上<dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-simple</artifactId> <version>1.7.25</version> <!-- 注意，若无type为jar则报错--> <type>jar</type></dependency> 全部异常信息 1234567891011121314151617181920212223242526272829303132333435ERROR ...
记录flink + docker, 部署jar,执行任务程序
首先安装flink,这里以1.13.1举例(docker安装的话,jobmanager和taskmanager需要分开部署)flink-docker-github-repository (这个参数flink文档中没找到)关于query.server.port: 6125不用去管,这个不填也会默认自动生成: 12yml中的内容不说了, 下面贴几张关于Flink生产配置最佳实践的图, 钉钉公开课趣头条实时平台负责人分享https://www.bilibili.com/video/BV1iE411r7S6 Flink在yarn上运行，每个TaskManager的slot个数怎么设置？经验公式：slot个数tm个数=并行度并行度=kafka的分区个数（10分区）slot的个数要小于yarn设置的单个container最大可以申请的cpu核数（5个 8-36个）。那么就是 5个slot2个tm=并行度=kafka分区数多个小集群好还是一个大集群好？1.小集群的话任务分布在不同的集群，任务之间的影响小。不会因为一个任...
Kettle是什么
kettle中文网 免费开源的基于java的企业级ETL工具ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法，跟大家分享碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率
公告