摘要 Google 的 Borg 系统是一个集群管理器，能够运行数百万个作业，来自于数千个不同的应用程序，在多个集群上运行，每个集群有数以万计的机器。通过结合准入控制、高效的任务打包、超额承诺和进程级性能隔离，它实现了高利用率。它通过支持运行时特性和调度策略来支持高可用性应用程序，这些特性能够最小化故障恢复时间，并减少相关故障的概率。Borg 通过提供声明性作业规范语言、名称服务集成、实时作业监视和分析和模拟系统行为的工具，为其用户简化了工作。我们介绍了 Borg 系统架构和特性的概述、重要的设计决策、一些策略决策的定量分析以及对使用它十年的运营经验的定性考察的总结。 介绍 我们内部称为 Borg 的集群管理系统，能够接受、调度、启 …

在程序开发中，错误处理是一个必不可少的环节。正确处理错误可以提高程序的稳定性、可靠性和安全性，同时提高用户体验，避免数据丢失和程序崩溃等问题。而在 Golang 开发中，错误处理是一个非常重要的主题，因为 Golang 本身就是一门以错误处理为基础的语言。 当前我们在开发中大多使用框架，这些框架或者库已经定义了错误定义的目录，以帮助开发者更好地管理错误。在本文中，我们将探讨 Golang 中的错误处理机制其实也不限于golang，包括如何定义错误、如何处理错误、以及如何在不同层级之间转换错误。我们将以实例为基础，介绍 Golang 中错误处理的最佳实践，帮助读者更好地理解和应用 Golang 中的错误处理机制。 …

背景 有时我们需要基于设备的硬件信息来生成唯一的序列号，本文从物理机和容器两个角度描述获取硬件信息的几种方式。 硬件信息 主要包括 cpu id, 主板序列号， CPU ID 在2006年，Intel决定取消将唯一标识符（Unique Identifier，UID）分配给每个CPU的计划。在取消该计划后，没有任何一款Intel CPU具有可用的UID或类似的标识符。 dmidecode -t processor | grep ID 命令获取的是处理器的ID号码，而不是CPU序列号。在过去，Intel的处理器ID号码与CPU序列号是相关的。但是，自从Intel取消了CPU序列号计划后，处理器ID号码已经成为处理器的唯一标识符。但是需要 …

简介 iptables 是一个命令行工具，用来配置包过滤的规则的，而真正实现这些规则的程序位于内核层，叫做 netfilter, 可以讲iptables理解为netfilter的客户端，iptables 与 netfilter 共同组成了包过滤软件。 平常工作交流中 iptables 也经常代指该内核级防火墙，iptables 用于 ipv4, 相应的 ip6tables 用于 IPv6。 概念介绍 （图片引用） hook iptables 在内核是对数据包做修改、转发、丢弃等操作的，而这些操作都是在一个个 hook 上完成的，hook 就是注册数据包处理函数的地方。hook点都是预定义好的，一共划分了五个hook点，分别为: …

什么是事务 事务是数据库中的执行单元，包含一个或者多个操作，事务主要有以下几个主要作用: 所有操作要么一起成功，要么一起失败（all-or-nothing）; 可以从失败即使是系统故障中正确恢复并保持数据库的一致性; 提供数据隔离保障可以正确地并发访问数据库； 事务的属性可以使用ACID来描述: A(Atomicity,原子性): 一个事务的所有操作要么成功，要么失败，没有中间状态,如果失败则会回滚到事务开始之前的状态。 I(Isolation, 隔离性): 当数据库有多个事务并发读写数据时，隔离性可以防止多个事务并发执行时由于交叉执行而导致数据的不一致。事务隔离分为不同级别,分为未提交读（Read uncommitted）、提交 …

(图片拍摄于千灵山风景区,云山相印，云彩仿佛是山的倒影，让人心旷神怡。) 两者对比 mongodb vs es 对比 mongodb es 定位 解决关系数据库强 schema 约束的问题 解决关系数据库的全文搜索性能问题 schema 无 无 事务 4.0之后支持 不支持 索引 B树 LSM 倒排索引 时效性 高 有延迟(秒级) 可靠性 高 有丢数据风险 性能 读写均衡 性能较低 可扩展性 方便 非常方便 mongodb和es 虽然都是文档数据存储,但是两者的定位确是不同: mongodb 主要定位是文档数据库,提供数据存储, 倾向与OLTP; es 主要定位是文档搜索引擎,提供搜索服务, 倾向于OLAP; 所以mongodb 主 …

现象 最近有一台设备上部署的容器服务无法从宿主机之外的节点进行访问。 分析 要定位该问题首先要确认以下几个事情： 1. 服务是否正常启动 2. 确认容器的网络模式 3. 容器如何与外面的节点通讯 4. 数据包在设备上实际流转 定位过程 确认服务是否正常 查看容器运行是否正常: 1 2CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 3cfde73945bf6 ***:1.0.7 "/bin/sh -c /opt/boo…" 27 hours ago Up 27 hours 0.0.0.0:7788->7788/tcp *** 4 查看服务运行是否正常: …

find find 多个条件 AND 使用多个条件查找，默认是 AND 操作 1$ find . -name "*.bash" -mtime +180 -size +2K -exec ls -l {} \; 在上面的命令中，我们告诉 find 搜索名称中带有字符串 .bash 的文件/目录，它们应该超过 180 天并且大小应该大于 2KB。 最后，我们使用 -exec 选项对 find 命令产生的结果执行 ls -l 命令。 find 多个条件 OR 让我们考虑一个场景，我们需要修改我们之前使用的示例并获取带有字符串 .bash 和 .txt 的文件。要满足此要求，请在 find 命令中使用 -o …

概述 Kubernetes的其他组件都是通过client-go的Informer机制与Kubernetes API Server进行通信的。 在Informer架构设计中,有多个核心组件,分别介绍如下。 1.Reflector Reflector用于监控(Watch)指定的Kubernetes资源,当监控的资源发生变化时,触发相应的变更事件,例如Added(资源添加)事件、Updated(资源更新)事件、Deleted(资源删除)事件,并将其资源对象存放到本地缓存DeltaFIFO中。 2.DeltaFIFO DeltaFIFO可以分开理解,FIFO是一个先进先出的队列,它拥有队列操作的基本方法,例 …

Karmada(Kubernetes Armada) 是一个多集群管理系统，在原生 Kubernetes 的基础上增加对于多集群应用资源编排控制的API和组件，从而实现多集群的高级调度，本文就详细分析一下 karmada 层面多集群调度的具体实现逻辑。 Karmada Scheduler（ Karmada 调度组件）主要是负责处理添加到队列中的 ResourceBinding 资源，通过内置的调度算法为资源选出一个或者多个合适的集群以及 replica 数量。 注意： 本文使用 karmada 版本为 tag:v0.8.0 commit: c37bedc1 调度框架 karmada-scheduler 在启动过程中实例化并运行了多个 …