#云原生省钱 #K8s省钱 #SRE
阿物科技SRE分享云端省钱术，揭露20%节费的关键策略

来自嘉义的台湾行销科技业者阿物科技，主力开发团队在南台湾总部，却能服务全台，甚至是日本到全球的上万家企业，就是善用了公云基础架构，来提供各种行销自动化的服务。

不过，如何更有效管理上云的费用却是一大挑战，阿物科技SRE经理谢明宏在几今年K8s Summit上也分享了阿物科技能够节省20%云端费用的关键，就是靠云端节费地图（CLoud Cosy Optimization Map）。

他在这张节费地图中，盘点5种云端成本的来源，像是云算资源、稳路资源、存储资源、软件授权和订阅费用等常见项目，也纳入容易忽略的人为失误的成本。并归纳出6大节费内核策略，从资源成本优化、存储成本优化、网络成本优化到善用价格便宜的Spot VM（现货虚拟机） ，另外还包括了成本监控和拥抱FinOps/DevOps文化等六项。
谢明宏更分别针对云原生环境与K8s环境，各自如何落实这六项节费内核策略，一一说明更多细节。

例如，K8s可以通过Pod资源请求与限制的设置，以及调整Cluster Autoscaler来优化资源成本，或是进行Ingress流量优化和调整集群设计，可以优化网络成本。在开发与测试环境或针对非核心服务善用Spot虚拟机，甚至混用现货虚拟机和按需提供的虚拟机，也有利于成本控管。而在云原生环境的节费实作上，例如通过VM规模调整、自动化开关机、CUR/RI购买都能优化资源的成本，进行数据生命周期管理或优化数据库也能改善存储成本等。

谢明宏也分享了阿物科技如何在不同情境中，运用云端节费地图中节费策略的实作案例，像是在电商网站站内搜索使用Spot虚拟机的经验，或是导入IaC、GItOps来降低SRE团队维运成本等。

他建议企业要善用架构和工具来降低维运成本，也利用架构设计提高服务可用性，并借助节费地图来降低云端成本，同时考量三者来兼顾高可用性又能节省成本。他更大方公开了云端节费地图的心智图，供大家按图参考，来设计符合自家企业云原生环境和K8s维运的云端节费地图。

#AI训练框架 #微服务 
瞄准AI模型训练需求，GKE开始提供Nvidia微服务框架NIM

最近Google云宣布，开是在GKE上提供Nvidia的AI框架NIM，这是一个可以用来训练大型语言模型的微服务框架，以微服务架构的形式，提供了一整套的大型语言训练组件，可以让企业使用现成的组件，就可以自行打造出自己的训练平台，来简化大型语言模型训练的复杂度。像是台大与产学合作打造的Porject TAME繁中LLM模型，就使用了NIM来创建训练基础架构。NIM框架也针对不少现有模型提供了优化版本，企业可以在GKE控制台上直接使用NIM微服务来部署模型，例如几个点击就可以部署出LLama 3.1版700亿参数的NIM优化版的模型。另外，也更容易用GKE来协调部署搭载Nvidia GPU的GKE集群来运行NIM版模型。

#容器工具 #Linux容器管理
AWS容器工具Finch终于支持Linux，可跨三大操作系统管理容器 

日前，AWS宣布自家容器工具Finch开始支持Linux。这款开源的命令行工具，可以供开发者在多个操作系统中建构并运行Linux容器，提供跨平台一致的体验，现在无论在macOS、Windows还是Linux上，都能使用相同的工具和工作流程，另外，这次改版还加入对Docker API的支持，方便开发者延续现有Docker容器工作流程。
新版最大重点是，可以直接在Linux上建置和运行容器映像档，而不再需要虚拟化技术，可以原生支持的容器技术包括Docker和containerd可直接使用Linux内核功能。新版Finch与Finch Daemon集成，还提供了Docker API的部分功能，让习惯Docker工作流程的开发者，能够使用熟悉的命令和工具来管理容器。
不过，这个做法与Finch在macOS和Windows上的运作方式不同，在这两个操作系统中，则是使用中继组件Lima提供虚拟化技术，通过macOS的QEMU或Virtualization Framework模拟Linux所需要的核心功能，而Windows则使用WSL2（Windows Subsystem for Linux 2）来提供类似的虚拟化支持，让Windows用户也可以运行Linux容器。

#Helm Chart #GitOps
快速扫描Python和Java代码，StackGen能生成Helm Chart封装档加速部署

最近StackGen（前身是appCD发布了自动生成部署档，来强化对 Argo CD的集成支持，利用静态分析技术，可以自动分析Python和Java代码的意图，组件相依性，来剖析API界面、服务配置、网络配置或其他必要变量的设置，用AI自动生成Terraform部署代码，或是Helm Charts封装档。根据StrackGen宣称，可以将软件部署过程从数天，缩短到数分钟。

#基础架构代码化 #Terraform
基础架构自动化工具大更新，HashiCorp多项工具改版，要简化大规模扩张的复杂度

IaC知名自动化软件工具厂HashiCorp最近一口气更新多项基础设施生命周期管理产品，从Terraform、Packer、Nomad到Waypoint，要来简化大规模基础设施管理流程，尤其新功能聚焦减少用户手动操作的繁琐，改进用户在不同基础设施阶段的操作，让建构、部署和持续管理基础设施能够更简洁方便。

例如，HCP Packer提供映像档管理功能，添加的CI/CD工作管线元数据管理能够追踪每个映像档的生成过程，确保用户使用的映像档皆经过验证且符合规范，这是大型企业管理开源基础架构环境时常见的需求。HCP Packer加入了存储桶层级的RBAC（Role-Based Access Control），进一步加强映射像档的存取控制，确保不同角色的用户只能存取必要的部分。
另外在Terraform基础设施部署工具上，则增加了HCP Terraform Stacks，可将多个Terraform模块整合成单一操作，避免基础设施部署繁琐的手动相依管理。大规模Kubernetes部署时，HCP Terraform Stacks添加的推延变更（Deferred Change）功能，可以让用户应对未知的变化来避免部署中断。

分布式负载调度工具Nomad添加加GPU支持，能够灵活配置高性能计算资源，而应用部署运行管理工具Waypoin新功能则提供自动化应用部署流程，让平台营运团队可以利用标准化模版和附加组件，简化内部开发流程提升基础设施和应用开发之间的协作效率。

#部署容器化应用 #DHH
RoR之父打造的容器化Web应用部署工具Kamal大改版，2.0新版不只支持大量主机部署，也能快速将多套AP部署到一台主机

项目管理平台业者37signals在2023年大举下云，一年可以省下2百万美元上云费用的关键，正是RoR之父打造的一套大规模的容器化Web应用部署工具Kamal，主要利用Docker来部署和管理Web应用。Kamal在2024年初时推出1.3版，不只可以在裸机上部署Web应用，也可以用来部署云端环境中的Web应用，这是一款可以通吃本地端和云端的通用部署工具。

这套让37signals下云的关键工具在10月发布了Kamal 2新版，原本1.0版主要针对跨大量主机搭配外部负载平衡器来部署同一套应用，支持数百万人等大规模的用户。新推出的2.0版则有另一个大升级，可以将多个Web应用，快速部署到单一台服务器，来提高服务器的AP密度，并且可以用Let’s Encrypt来实作自动HTTPS，还大幅简化了部署管理最烦人的秘密管理。

Kamal 2.0默认部署在Rails 8.0，但不只可用于Rails应用，也可以部署到任何语言或框架开发的Web应用。DHH强调，不需要用到像Kubernetes如此复杂的工具，用Kamal 2也能快速将容器化应用部署到云端或地端的各种基础架构环境，从便宜VPC，云端虚拟机集群到本地端的硬件都可以使用，来降低部署和后续维运的复杂度。

#K8s资安 #映像档工具
小心K8s映像档制作工具发现重大漏洞，恐曝露虚拟机root权限，官方先发布缓解工具

最近Kubernetes资安回应团队公布了一项映像档建置工具（Image Builder）漏洞CVE-2024-9486、CVE-2024-9594，攻击者有可能借此得到虚拟机（VM）的root权限，而这些漏洞发生的原因，源于映像档建置过程中，使用了默认的帐密数据。较为严重的是CVE-2024-9486漏洞，CVSS评分达到6.3分，这是当用Proxmox提供者（provider）建置而成的虚拟机映像，无法停用当中的默认帐号，若用这些映像档建置节点，后续有心人士可通过这些默认帐密进行存取，借此取得root权限，CVSS风险评分达到9.8。

这些漏洞影响0.1.37版以前的Kubernetes Image Builder，开发团队发布0.1.38版缓解上述弱点。Kubernetes资安回应团队呼吁用户，应通过这些已解决上述问题的工具，重建具有潜在风险的映像档。

更多新闻：

• Docker新价格方案将于11月中上路，Hub用量限制则于明年2月生效，企业得开始准备
• 资安业者Group-IB提醒，新兴勒索软件Cicada3301锁定多平台攻击，包括VMware ESXi环境。

：王宏仁