Llama 3     Meta     生成式AI  

Meta開源最新大型語言模型Llama 3

Meta釋出新一代的開源大型語言模型Meta Llama 3，包括Llama 3 8B和Llama 3 70B兩種版本，也就是80億參數和700億參數兩種模型，將透過AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、Nvidia NIM和Snowflake等平臺提供。

Llama 3採用具12.8萬個Token詞彙的標記器，能更有效提高模型對文本的理解，另也藉分組查詢注意力（GQA）機制，以長達8,192個Token的序列來訓練模型，並用遮罩來確保模型的注意力不越界，強化推論成效。另一方面，Llama 3用15T個Token的資料來進行預訓練，其中超過5%的訓練內容為非英文資料，由將近30種語言組成。只不過，這些語言的表現並不如英文好。Meta表示，與前幾代模型相比，Llama 3因為改善了預訓練與後訓練，因此整體實用性大幅提高，大幅減少錯誤拒絕率、強化一致性和模型回答的多樣性，且不管是在推論、程式碼生成或指令遵循上，也都有所進步（詳全文）

  AI助理     GitLab     Duo Chat  

GitLab DevSecOps開發AI助理Duo Chat上線

軟體整合開發平臺GitLab最近正式推出AI開發助理Duo Chat，付費使用者可在GitLab 16.11版中使用，透過自然語言互動來完成DevSecOps程式開發。進一步來說，Duo Chat是GitLab今年初發表的AI助理Duo Pro一部分，可為工程師或非工程背景的使用者，在整個開發生命周期中提供即時引導。比如，可向Duo Chat詢問CI/CD基礎知識、如何重新設置GitLab密碼、如何使用熱門框架等。

此外，Duo Chat也正式提供3大功能，包括解釋程式碼、程式碼重構（refactoring），也就是改善程式碼、提高品質，以及自動撰寫測試、加速除錯等。使用者可在GitLab UI或常見的IDE如VS Code、JetBrains IDE等環境，由Duo Pro外掛來使用Duo Chat，它還能整合使用者自有工具，來滿足企業開發需求。GitLab也宣布，其他Duo新功能將提供Beta版試用，包括更新的AI安全功能，如詳細解釋漏洞、自動解決、AI重點摘要和自動化範本工具。（詳全文）

  多模態     xAI     語言模型  

xAI也發表多模態語言模型了

由馬斯克成立的AI新創公司xAI，最近發表一套多模態語言模型Grok-1.5 Vision，很快就會提供預覽版給研究員和開發者測試。Grok-1.5 Vison（或稱Grok-1.5V）是繼3月開源基礎語言模型Grok-1、4月發表Grok-1.5後的最新研發成果，除具備文字理解能力，採用這款模型的Grok聊天機器人，現在也能處理多種視覺資訊，包括文件、圖表、示意圖、螢幕擷圖、相片等。

xAI也列出Grok-1.5V的基準測試數據，在數學、文字理解、真實世界圖片理解能力上，超越OpenAI GPT-4、Google Gemini Pro 1.5和Anthropic的Claude 3系列模型。接下來，他們將繼續優化Grok-1.5V的多模態理解能力和生成能力。（詳全文）

／Profluence、微軟、Meta、英特爾、xAI

  AI近期新聞 

1. 臺中榮總聯手陽明交大打造Healthcare GPT

2. Meta AI聊天機器人改用Llama 3

3. Boston Dynamics發表電動人形機器人Atlas

：iThome整理，2024年4月