#雲原生省錢 #K8s省錢 #SRE
阿物科技SRE分享雲端省錢術，揭露20%節費的關鍵策略

來自嘉義的臺灣行銷科技業者阿物科技，主力開發團隊在南臺灣總部，卻能服務全臺，甚至是日本到全球的上萬家企業，就是善用了公雲基礎架構，來提供各種行銷自動化的服務。

不過，如何更有效管理上雲的費用卻是一大挑戰，阿物科技SRE經理謝明宏在幾今年K8s Summit上也分享了阿物科技能夠節省20%雲端費用的關鍵，就是靠雲端節費地圖（CLoud Cosy Optimization Map）。

他在這張節費地圖中，盤點5種雲端成本的來源，像是雲算資源、穩路資源、儲存資源、軟體授權和訂閱費用等常見項目，也納入容易忽略的人為失誤的成本。並歸納出6大節費核心策略，從資源成本優化、儲存成本優化、網路成本優化到善用價格便宜的Spot VM（現貨虛擬機器） ，另外還包括了成本監控和擁抱FinOps/DevOps文化等六項。
謝明宏更分別針對雲原生環境與K8s環境，各自如何落實這六項節費核心策略，一一說明更多細節。

例如，K8s可以透過Pod資源請求與限制的設置，以及調整Cluster Autoscaler來優化資源成本，或是進行Ingress流量優化和調整叢集設計，可以優化網路成本。在開發與測試環境或針對非核心服務善用Spot虛擬機器，甚至混用現貨虛擬機器和按需提供的虛擬機器，也有利於成本控管。而在雲原生環境的節費實作上，例如透過VM規模調整、自動化開關機、CUR/RI購買都能優化資源的成本，進行資料生命週期管理或優化資料庫也能改善儲存成本等。

謝明宏也分享了阿物科技如何在不同情境中，運用雲端節費地圖中節費策略的實作案例，像是在電商網站站內搜尋使用Spot虛擬機器的經驗，或是導入IaC、GItOps來降低SRE團隊維運成本等。

他建議企業要善用架構和工具來降低維運成本，也利用架構設計提高服務可用性，並藉助節費地圖來降低雲端成本，同時考量三者來兼顧高可用性又能節省成本。他更大方公開了雲端節費地圖的心智圖，供大家按圖參考，來設計符合自家企業雲原生環境和K8s維運的雲端節費地圖。

#AI訓練框架 #微服務 
瞄準AI模型訓練需求，GKE開始提供Nvidia微服務框架NIM

最近Google雲宣布，開是在GKE上提供Nvidia的AI框架NIM，這是一個可以用來訓練大型語言模型的微服務框架，以微服務架構的形式，提供了一整套的大型語言訓練元件，可以讓企業使用現成的元件，就可以自行打造出自己的訓練平臺，來簡化大型語言模型訓練的複雜度。像是臺大與產學合作打造的Porject TAME繁中LLM模型，就使用了NIM來建立訓練基礎架構。NIM框架也針對不少現有模型提供了最佳化版本，企業可以在GKE控制臺上直接使用NIM微服務來部署模型，例如幾個點擊就可以部署出LLama 3.1版700億參數的NIM最佳化版的模型。另外，也更容易用GKE來協調部署搭載Nvidia GPU的GKE叢集來執行NIM版模型。

#容器工具 #Linux容器管理
AWS容器工具Finch終於支援Linux，可跨三大作業系統管理容器 

日前，AWS宣布自家容器工具Finch開始支援Linux。這款開源的命令列工具，可以供開發者在多個作業系統中建構並執行Linux容器，提供跨平臺一致的體驗，現在無論在macOS、Windows還是Linux上，都能使用相同的工具和工作流程，另外，這次改版還加入對Docker API的支援，方便開發者延續現有Docker容器工作流程。
新版最大重點是，可以直接在Linux上建置和執行容器映像檔，而不再需要虛擬化技術，可以原生支援的容器技術包括Docker和containerd可直接使用Linux核心功能。新版Finch與Finch Daemon整合，還提供了Docker API的部分功能，讓習慣Docker工作流程的開發者，能夠使用熟悉的命令和工具來管理容器。
不過，這個做法與Finch在macOS和Windows上的運作方式不同，在這兩個作業系統中，則是使用中繼元件Lima提供虛擬化技術，透過macOS的QEMU或Virtualization Framework模擬Linux所需要的核心功能，而Windows則使用WSL2（Windows Subsystem for Linux 2）來提供類似的虛擬化支援，讓Windows用戶也可以執行Linux容器。

#Helm Chart #GitOps
快速掃描Python和Java程式碼，StackGen能生成Helm Chart封裝檔加速部署

最近StackGen（前身是appCD釋出了自動生成部署檔，來強化對 Argo CD的整合支援，利用靜態分析技術，可以自動分析Python和Java程式碼的意圖，元件相依性，來剖析API介面、服務配置、網路配置或其他必要變數的設置，用AI自動生成Terraform部署程式碼，或是Helm Charts封裝檔。根據StrackGen宣稱，可以將軟體部署過程從數天，縮短到數分鐘。

#基礎架構程式碼化 #Terraform
基礎架構自動化工具大更新，HashiCorp多項工具改版，要簡化大規模擴張的複雜度

IaC知名自動化軟體工具廠HashiCorp最近一口氣更新多項基礎設施生命周期管理產品，從Terraform、Packer、Nomad到Waypoint，要來簡化大規模基礎設施管理流程，尤其新功能聚焦減少使用者手動操作的繁瑣，改進使用者在不同基礎設施階段的操作，讓建構、部署和持續管理基礎設施能夠更簡潔方便。

例如，HCP Packer提供映像檔管理功能，新增的CI/CD工作管線後設資料管理能夠追蹤每個映像檔的生成過程，確保用戶使用的映像檔皆經過驗證且符合規範，這是大型企業管理開源基礎架構環境時常見的需求。HCP Packer加入了儲存桶層級的RBAC（Role-Based Access Control），進一步加強對映像檔的存取控制，確保不同角色的用戶只能存取必要的部分。
另外在Terraform基礎設施部署工具上，則增加了HCP Terraform Stacks，可將多個Terraform模組整合成單一操作，避免基礎設施部署繁瑣的手動相依管理。大規模Kubernetes部署時，HCP Terraform Stacks新增的推延變更（Deferred Change）功能，可以讓用戶應對未知的變化來避免部署中斷。

分散式負載調度工具Nomad新增加GPU支援，能夠靈活配置高效能運算資源，而應用部署執行管理工具Waypoin新功能則提供自動化應用部署流程，讓平臺營運團隊可以利用標準化模版和附加元件，簡化內部開發流程提升基礎設施和應用開發之間的協作效率。

#部署容器化應用 #DHH
RoR之父打造的容器化Web應用部署工具Kamal大改版，2.0新版不只支援大量主機部署，也能快速將多套AP部署到一臺主機

專案管理平臺業者37signals在2023年大舉下雲，一年可以省下2百萬美元上雲費用的關鍵，正是RoR之父打造的一套大規模的容器化Web應用部署工具Kamal，主要利用Docker來部署和管理Web應用。Kamal在2024年初時推出1.3版，不只可以在裸機上部署Web應用，也可以用來部署雲端環境中的Web應用，這是一款可以通吃本地端和雲端的通用部署工具。

這套讓37signals下雲的關鍵工具在10月釋出了Kamal 2新版，原本1.0版主要針對跨大量主機搭配外部負載平衡器來部署同一套應用，支援數百萬人等大規模的用戶。新推出的2.0版則有另一個大升級，可以將多個Web應用，快速部署到單一臺伺服器，來提高伺服器的AP密度，並且可以用Let’s Encrypt來實作自動HTTPS，還大幅簡化了部署管理最煩人的秘密管理。

Kamal 2.0預設部署在Rails 8.0，但不只可用於Rails應用，也可以部署到任何語言或框架開發的Web應用。DHH強調，不需要用到像Kubernetes如此複雜的工具，用Kamal 2也能快速將容器化應用部署到雲端或地端的各種基礎架構環境，從便宜VPC，雲端虛擬機器叢集到本地端的硬體都可以使用，來降低部署和後續維運的複雜度。

#K8s資安 #映像檔工具
小心K8s映像檔製作工具發現重大漏洞，恐曝露虛擬機器root權限，官方先釋出緩解工具

最近Kubernetes資安回應團隊公布了一項映像檔建置工具（Image Builder）漏洞CVE-2024-9486、CVE-2024-9594，攻擊者有可能藉此得到虛擬機器（VM）的root權限，而這些漏洞發生的原因，源於映像檔建置過程中，使用了預設的帳密資料。較為嚴重的是CVE-2024-9486漏洞，CVSS評分達到6.3分，這是當用Proxmox提供者（provider）建置而成的虛擬機器映像，無法停用當中的預設帳號，若用這些映像檔建置節點，後續有心人士可透過這些預設帳密進行存取，藉此取得root權限，CVSS風險評分達到9.8。

這些漏洞影響0.1.37版以前的Kubernetes Image Builder，開發團隊發布0.1.38版緩解上述弱點。Kubernetes資安回應團隊呼籲用戶，應透過這些已解決上述問題的工具，重建具有潛在風險的映像檔。

更多新聞：

• Docker新價格方案將於11月中上路，Hub用量限制則於明年2月生效，企業得開始準備
• 資安業者Group-IB提醒，新興勒索軟體Cicada3301鎖定多平臺攻擊，包括VMware ESXi環境。

：王宏仁