AWS

AWS昨（23）日發表AI平臺Amazon Bedrock最新服務Custom Model Import預覽版，可讓企業用戶將模型上傳Bedrock微調並為特定應用客製化。

Amazon Bedrock提供如Mistral或Llama等基礎模型，供企業選擇以打造生成式AI應用，有些用戶會為特定使用場景微調或客製化模型。另一些企業則是自建基礎架構，使用Mistral或Llama等模型客製化並開發AI應用。之前，企業用戶必須在Bedrock以外的其他環境上進行客製化。問題是，這類環境的部署需要一定能力，而對Bedrock用戶而言，這還會使開發人員必須在不同模型環境間切換，造成經驗的不連續。

最新公布工具可解決客製化環境的部署問題。首先是Custom Model Import，訴求讓用戶將客製化模型匯入Bedrock，一方面保留客製化成果，另一方面又能在安全的雲端平臺上使用模型。匯入Bedrock後，用戶就能透過Bedrock的API呼叫，以隨需（on-demand）方式存取模型，並為基礎、客製化及匯入的模型建立一致化經驗。最新工具支援Mistral、Llama及Flan T5等。

另一方面，針對Bedrock上想客製化模型的用戶，AWS昨日也宣布預覽一項新功能。新功能讓用戶從Amazon SageMaker機器學習平臺及Amazon S3以Hugging Face safetensors格式匯入自訂權重以客製化模型，之後就能以隨需方式存取模型。本功能支援Meta Llama 2、Llama 3及Mistral。

這樣一來用戶可以使用Bedrock上為寫程式特化的Code Llama模型，或是以自有資料微調模型後，再將模型匯入Bedrock。二項新功能目前都僅在美國測試。美國用戶可透過Bedrock控制臺主頁開始匯入模型或權重。