自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(332)
  • 收藏
  • 关注

原创 101-3、pulsar配置文件详解

Broker 配置(核心消息节点配置)BookKeeper 配置(持久化存储节点配置)ZooKeeper 配置(元数据管理配置)Proxy 配置proxy.conf(客户端代理节点配置)其他组件配置:如(函数工作节点)、(Schema 注册表)等。配置优先级:默认配置(内置) < 自定义配置文件(如) < 环境变量(如修改配置后需重启对应组件生效。参数位置(BookKeeper 配置文件)参数作用。

2025-07-29 19:45:21 4

原创 101-2、pulsar之k8s集群部署pulsar

还待处理下面是基于你提供的信息部署 Pulsar 3 节点集群的完整 YAML 配置:部署步骤:bash1.2.部署 service:bash1.3.部署stskubectl apply -f pulsar-statefulset.yamlbash配置说明:注意:请确保你的 Kubernetes 集群中已经正确配置了 nfs-storage 存储类,否则 PVC 将无法正常绑定。在部署pulsar前,确认zookeeper的信息如下:

2025-07-29 19:44:55 4

原创 101-1、pulsar介绍

Apache Pulsar 是一个融合消息队列与流处理的云原生平台,通过计算存储分离、多租户、地理复制等特性,解决了传统消息系统在扩展性、灵活性和企业级需求上的痛点。无论是实时数据管道、事件驱动架构,还是多区域协同场景,Pulsar 都能提供可靠、高效的支持,是现代分布式系统的理想消息流解决方案。

2025-07-29 13:52:44 8

原创 45-3、kafka配置文件详解

在传统模式下(非 KRaft 模式),Kafka 依赖 ZooKeeper 存储关键元数据,包括 Broker 信息、Topic 配置、分区状态、消费者偏移量等。Kafka 的配置文件是控制其核心组件(Broker、生产者、消费者、ZooKeeper 等)行为的关键,合理配置能优化性能、可靠性和安全性。通过理解 Kafka 在 ZooKeeper 中的存储结构,可更高效地监控集群状态、排查故障(如 Leader 选举异常、ISR 收缩),并为集群扩容、缩容提供依据。用于保证元数据操作的顺序性。

2025-07-29 13:38:44 4

原创 45-2、kafka之k8s安装kafka2.12版本

【代码】45-2、kafka之k8s安装kafka2.12版本。

2025-07-29 13:07:22 6

原创 45-1、Kafka 介绍

高吞吐量、低延迟,适合大规模实时数据场景。分布式架构,易扩展、高可靠。灵活的消息保留策略,支持数据重放。丰富的生态系统,集成流处理、数据同步等工具。Kafka 凭借高吞吐量、高可靠性和灵活的扩展性,已成为现代分布式系统中实时数据传输和处理的核心组件。无论是日志收集、消息通信还是实时分析,Kafka 都能提供稳定高效的支持。随着 KRaft 模式的成熟,Kafka 进一步简化了架构,降低了运维成本,未来在实时数据领域的应用将更加广泛。详细介绍一下Kafka的高吞吐量特性。

2025-07-29 11:46:44 2

原创 93-7、ZooKeeper 目录结构详解

app1ZooKeeper 的目录结构是基于 ZNode 的树形结构,通过层级关系、节点类型(持久 / 临时 / 顺序)和 Watcher 机制,支持分布式系统的协调需求。合理设计目录结构(如按应用隔离、节点类型匹配场景)是高效使用 ZooKeeper 的关键。

2025-07-29 11:15:07 3

原创 93-5、zookeeper之k8s通过自定义yaml安装zookeeper

bash步骤 2:创建 Headless Serviceyaml执行命令:bash步骤 3:创建整合 PVC 的 StatefulSet执行命令:bash步骤4:验证方法 查看 Pod 状态 确保 3 个 Pod 均处于状态:bash 查看 PVC 绑定状态 每个 Pod 对应两个 PVC(数据 + 日志),需均为:bash 检查集群状态 进入任一 Pod,查看节点角色(Leader/Follower):bash 测试客户端

2025-07-29 11:05:54 3

原创 93-5、zookeeper集群中一台节点data目录被删除故障处理

k8s环境中的3节点zookeeper集群中的一台zk节点data目录被删除。

2025-07-29 10:31:46 132

原创 93-4、zookeeper常用命令

以下是常用的 ZooKeeper 命令整理,涵盖连接、节点操作、权限管理、集群管理等场景。在 ZooKeeper 中,每个节点都有唯一的事务 ID(ZXID),用于标识节点的创建或修改时间。查看节点 ZXID 的命令主要通过。通过以上命令可完成 ZooKeeper 日常运维和开发调试工作,实际使用中需结合具体场景选择合适的节点类型和权限配置。通过以上命令,你可以快速获取 ZooKeeper 节点的 ZXID 信息,用于追踪节点变更历史或调试分布式协调问题。zk查看节点zxid的命令。(IP 地址限制)等。

2025-07-28 20:07:36 10

原创 93-3、zookeeper配置文件及参数详解

ZooKeeper 是一个分布式协调服务,其核心配置通过文件管理(默认提供,需复制为zoo.cfg使用)。配置文件中的参数决定了 ZooKeeper 的运行模式、性能、集群行为等关键特性。以下从六个维度详细解析核心参数。

2025-07-28 19:03:52 9

原创 93-2、zookeeper集群原理

ZooKeeper 集群通过Leader 选举确保核心节点的稳定,通过ZAB 协议实现数据一致性,通过奇数节点部署保证容错能力,最终为分布式系统提供高可用、高可靠的协调服务。其设计聚焦于 “读多写少” 场景,读操作性能优异(可通过 Observer 扩展),写操作依赖 Leader 与多数 Follower 的确认,性能相对较低但一致性有保障。

2025-07-28 18:57:54 13

原创 93-1、zookeeper介绍

ZooKeeper 是一个分布式协调服务,由 Apache 软件基金会开发并维护,主要用于解决分布式系统中常见的一致性、同步、配置管理、命名服务等问题。它为分布式应用提供了高效、可靠的基础支撑,是许多分布式框架(如 Hadoop、HBase、Kafka 等)的核心依赖组件。ZooKeeper 适合解决分布式系统中的协调类问题,尤其是需要强一致性、实时感知变化的场景。但不适合作为分布式数据库或高并发写存储使用。分布式计算:Hadoop、Spark。分布式存储:HBase、Cassandra。

2025-07-28 18:44:48 32

原创 51-28、harbor:docker登录harbor报nable to decode token response: invalid character ‘<‘ looking for beginn

docker登录Harbor时或者docker push时报:查看docker日志也报同样的错。

2025-07-28 18:38:40 5

原创 38-11、etcd故障:误删除集群中一节点的data目录导致启动不了

对比维度newexisting核心目标创建新集群加入现有集群集群 ID 来源新生成继承现有集群依赖配置完整的初始成员列表至少一个现有成员地址操作顺序首次部署时使用集群创建后扩容时使用错误影响配置不一致导致集群创建失败未预先添加成员或地址错误导致加入失败通过正确设置,可以确保 etcd 集群的初始化和扩容过程安全、有序地进行,避免因配置错误导致的集群故障。

2025-07-28 17:27:01 4

原创 91-8、seaseedfs通过curl构造访问s3接口

牛逼牛逼:很有用!

2025-07-25 16:40:00 9

原创 35-3、postgresql监控告警指标及告警阈值设置

除了文档中的指标,还有哪些其他重要的监控项?如何确定适合告警的指标以及告警公式和阈值?如何根据监控项列表设置有效的告警策略?

2025-07-25 15:32:20 11

原创 78-34、prometheus配置postgresql监控告警

创建。

2025-07-25 14:37:43 7

原创 51-27、harbor jobservice报code:NOT_FOUND

检查 Harbor 系统中与该作业相关的钩子配置(如 Webhook、复制策略等)是否正确,特别是作业 ID 的传递逻辑。如果使用的是较旧版本的 Harbor,考虑升级到最新版本,以修复已知的 Jobservice 问题。Harbor Jobservice 可能在作业完成后删除了相关记录,但仍尝试触发后续的钩子事件。Harbor 的数据库可能存在数据不一致的情况,例如作业记录在数据库中被意外删除或未正确创建。钩子事件引用的作业 ID 可能被错误地传递或存储,导致无法关联到实际的作业。

2025-07-25 09:19:35 11

原创 22-2、skywalking监控告警指标及告警阈值

线程是服务处理请求的核心资源,监控线程总数、状态分布可反映服务并发能力和资源竞争情况。梳理SkyWalking所有监控指标的监控和告警配置,并提供一个整合的配置示例。:跟踪新生代 GC 的触发频率和总耗时,反映短期对象回收效率。有哪些常见的监控指标可以补充到Prometheus中?给出适合的告警项配置以及告警说明,并给出告警公式及阈值。如何优化Prometheus的告警配置以减少误报?如何根据监控指标的变化趋势来调整告警阈值?:G1 新生代 GC 次数与耗时。:JVM 当前线程数与状态分布。

2025-07-24 16:43:30 8

原创 78-33、prometheus配置skywalking监控告警

在完成 Prometheus 对 Skywalking 指标的采集后,我们可以通过 Prometheus Alertmanager 配置告警规则,及时发现 Skywalking 监控中的异常情况。通过以上配置,你就可以将 Skywalking 的监控数据集成到 Prometheus 中,利用 Prometheus 的强大查询能力和生态系统(如 Grafana)进行更全面的监控和告警。你可以使用这些指标在 Prometheus 或 Grafana 中创建仪表盘,可视化 Skywalking 监控数据。

2025-07-24 16:02:46 17

原创 22-1、skywalking简单部署

不要参考,验证没通过。

2025-07-24 14:27:20 20

原创 48-1、elasticsearch之docker容器化安装

首先,你需要从 Docker Hub 拉取 Elasticsearch 官方镜像。Elasticsearch 对 Linux 系统的 vm.max_map_count 参数有要求,该参数必须至少为 262144。待容器启动完成后,你可以通过 curl 命令或者浏览器来验证 Elasticsearch 是否正常运行。为了让 Elasticsearch 的数据和配置能够持久化保存,需要在宿主机上创建相应的目录。通过上述步骤,你就能在 Docker 中成功部署单机版 Elasticsearch 了。

2025-07-24 10:28:35 6

原创 5、awscli下载安装使用

AWS CLI(Amazon Web Services Command Line Interface)是管理 AWS 服务的统一工具。通过它,你可以从命令行控制多个 AWS 服务,并通过脚本自动执行它们。

2025-07-24 08:34:59 251

原创 100-1、containerd配置http镜像仓库

在 Kubernetes 1.28 版本中,默认情况下是不允许拉取 HTTP 协议的镜像的,因为 HTTP 不安全。

2025-07-24 08:25:44 10

原创 35-2、postgresql二进制编译安装

以下是在 Linux 系统上通过二进制包方式安装 PostgreSQL 的详细过程,适用于需要精确控制安装路径、版本或环境隔离的场景(如生产环境)。本文以PostgreSQL 16为例,覆盖 CentOS/RHEL 和 Ubuntu/Debian 系统。bash2. 安装依赖包bash二、下载并解压二进制包1. 下载 PostgreSQL 源码包从官网下载最新稳定版(本文以 16.1 为例):bash2. 解压并进入目录bash三、配置与编译1. 配置编译选项

2025-07-23 18:23:03 9

原创 35-1、postgresql之yum安装

通过以上步骤,你已在 CentOS 系统上完成 PostgreSQL 的安装、初始化、基础配置和远程访问设置。

2025-07-23 18:11:01 22

原创 78-32、prometheus配置harbor监控告警

通过以上步骤,可实现 Harbor 的全链路监控:从 metrics 启用、数据采集到可视化与告警。关键监控指标需覆盖组件健康、性能(推拉成功率)、存储及安全(证书过期),确保 Harbor 稳定运行。根据实际业务需求,可进一步优化告警阈值和监控维度。

2025-07-23 11:43:53 16

原创 5-2、openEuler终端一直打印日志,如何关闭

上述命令中的 4 个数字分别代表不同含义,从左到右依次是:控制台日志级别、默认的消息日志级别、最低的控制台日志级别、默认的控制台日志级别。通过设置这几个参数,可以调整日志的输出级别,减少不必要的日志打印。openEuler 终端一直打印日志,可通过修改日志打印级别来关闭,具体方法是使用命令调整内核日志打印级别。

2025-07-23 09:39:50 20

原创 5-1、openEuler破解开机密码

在 openEuler 系统中,可以通过进入单用户模式来重置开机密码,具体操作步骤如下:1、重启操作系统,一直按上下键,直到出现:2、选择第1行,进入 GRUB 编辑模式:按下 “e” 键进入 grub2 配置页面。若 GRUB 设置了密码,需输入默认用户名root和默认口令 “openEuler#12” 进行登录(不同版本可能有差异,以实际情况为准)。3、修改内核参数:找到以 “linux” 开头的行,将其中的 “ro” 修改为 “rw”,使内核可以读写硬盘,然后在这行配置的最后加上 “init=/bin

2025-07-23 09:31:00 15

原创 92-6、minio监控告警指标及告警阈值介绍

【代码】92-6、minio监控告警指标及告警阈值介绍。

2025-07-22 21:16:51 8

原创 78-31、prometheus配置minio监控

通过以上步骤,你可以建立一套完整的 MinIO 监控告警系统,及时发现并解决潜在问题。下面为你提供一套详细的 MinIO 监控告警配置步骤,包含验证方法和故障排查指南。如果配置正确,你应该会收到测试告警邮件。

2025-07-22 21:00:49 17

原创 51-26、harbor2.2.1-harbor2.13.0之间版本对比及cve漏洞影响

CVE-2020-13794CVE-2020-13788CVE-2019-3990CVE-2019-19030CVE-2019-19029:影响 Harbor 1.7.、1.8.、1.9.* 版本,1.8.6 和 1.9.3 版本也受影响。通过用户组进行 SQL 注入,具有项目管理功能的用户可利用此漏洞从底层数据库读取机密信息或进行权限提升。CVE-2019-19026:影响 Harbor 1.7.、1.8.、1.9.* 版本,1.8.6 和 1.9.3 版本也受影响。Harbor API 的 q

2025-07-22 11:42:25 11

原创 38-10、etcd监控告警指标及告警阈值配置

以上指标覆盖了 etcd 的集群可用性、存储容量、性能延迟、业务操作、资源使用等维度。其中,标为 “必须告警” 的指标(如、磁盘容量 / 延迟)直接关联集群核心功能,需优先配置告警;调试类指标(含debugging前缀)则用于问题排查,无需日常告警。实际监控中需结合业务场景(如 etcd 在 K8s 中的角色)调整阈值,确保覆盖关键风险点。

2025-07-22 09:19:19 16

原创 78-30、prometheus配置etcd监控

配置 Prometheus 监控 etcd 并设置告警需要分步骤完成,涵盖 etcd 指标暴露、Prometheus 数据采集、关键指标筛选、告警规则配置及告警通知集成。

2025-07-22 09:18:36 19

原创 42-10、nginx监控告警指标以及告警公式介绍

二、prometheus监控获取的nginx指标如下:以下是 Nginx 核心监控告警项目的详细梳理,涵盖连接状态、请求处理、错误分析、性能指标、资源占用、上游服务、缓存及安全等维度,每个监控项均包含中文名称、英文名称、告警适用性、阈值、公式及详细解释。

2025-07-21 18:55:57 11

原创 78-29、prometheus配置监控nginx

Prometheus 监控 Nginx 主要通过结合实现指标收集,再通过 Prometheus 抓取、存储指标,最终可通过 Grafana 可视化。

2025-07-21 18:19:15 16

原创 78-67、grafana配置linux主机监控模板

点击仪表盘右上角的 "Settings" 齿轮图标选择 "Variables" 选项卡,可以添加或修改变量返回仪表盘,点击面板标题 → Edit 可以编辑具体面板在 "Metrics" 选项卡中修改 PromQL 查询语句在 "Visualization" 选项卡中调整图表样式在 "General" 选项卡中修改面板标题和描述。

2025-07-21 16:41:07 22

原创 78-66、grafana配置k8s apiserver监控模板

配置 Grafana 监控 Kubernetes APIServer 需要结合 Prometheus 采集 metrics 数据,并通过 Grafana 模板可视化关键指标。

2025-07-21 16:20:00 21

原创 78-65、grafana配置prometheus数据源

Grafana 是一款强大的开源数据可视化工具,而 Prometheus 是流行的开源监控和时序数据收集系统。将 Prometheus 配置为 Grafana 的数据源,能够实现对监控数据的可视化展示和分析。通过以上步骤,你已成功将 Prometheus 配置为 Grafana 的数据源,接下来就可以创建仪表盘(Dashboard)来可视化 Prometheus 监控数据了。如何在Grafana中验证Prometheus数据源配置是否成功?配置Grafana数据源时常见的错误有哪些?

2025-07-21 15:56:13 24

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除