生成式AI     國科會     選拔賽  

國科會發起GenAI Stars生成式AI百工百業應用選拔

為推動生成式AI應用，國科會宣布舉辦首屆GenAI Stars生成式AI百工百業應用選拔，分為創意創客組、創新創業組兩大類。其中，創意創客組是針對高中職、大專院校和社會人士，可細分為高中職組和大專社會組兩組，參賽者可使用生成式AI工具，來進行創意應用，同時，創意創客組參賽者也能參加企業挑戰題目，也就是由多家知名企業提出的題目，詳細出題內容、解題資源和獎勵預計在4月12日公布。

而創新創業組則針對國內外企業、新創、學研單位、政府機關或自組團隊參加，競賽主題為與生成式AI有關的企業內部解決方案，或是創新產品與服務，評審將優先考量有邊緣運算的應用。特別的是，通過複審、進入決審的20組團隊，可獲得每隊10萬元輔導金、技術資源（如算力、GenAI工具等）、深度輔導資源，最後決審將篩選出的前三名隊伍，可分別獲得150萬元、100萬元和50萬元。GenAI Stars生成式AI百工百業應用選拔即日起開放報名，至5月15日下午3點為止。（詳全文）

  文字嵌入     Google     Gecko  

Google發表強大的文字嵌入模型Gecko

日前，Google團隊發表一款文字嵌入模型Gecko，可將大型語言模型（LLM）提取到檢索器中，來實現強大的檢索效能。進一步來說，文字嵌入模型目的是將自然語言轉換為密集向量，將語義相似的文字放在距離相近的嵌入空間，就像是電腦的翻譯機，將文字轉為電腦可理解的數字。有了文字嵌入，電腦就能用來執行各種下游任務，如文件檢索、分類等。

而Gecko是一款通用的文字嵌入模型，有別於以往只為單個下游任務建立各自的嵌入模型，Gecko由LLM加持，單一個模型就能支援多種下游任務。Gecko的運作方式可分為2步驟，首先是用LLM生成一組組多樣的資料，再來是精煉這些資料品質，也就是為每個查詢，用檢索方式找出一系列的候選文章段落，並用同一個LLM，來對文章段落的正負值重新貼標。

也就是說，在一個大型未標註段落的語料庫中，團隊使用少樣本提示，讓LLM為每個段落生成相關的任務和查詢。接著，他們將預訓練嵌入模型，嵌入一連串的任務和查詢，來獲得最相近的段落，並用LLM對段落重新排序，同時根據LLM評分來得出正負向的段落。這種方法，讓Gecko實現強大的檢索表現，不過該模型尚未開源。（詳全文）

  Cloudflare    Workers AI      Hugging Face  

Workers AI正式上線，還支援Hugging Face一鍵部署模型

最近，CDN服務大廠Cloudflare發布推理平臺Workers AI的一系列更新，包括完成公測、正式上線，能提供更高的可靠性和效能，並公開定價，還在目錄中新增更多模型。在效能部分，他們升級了Workers AI內建的負載平衡，另也提供更多城市、更多GPU資源來處理請求，還能靈活將請求分派至可用站點。在正式版本中，Cloudflare也提高了模型速度上限，將原本大型語言模型（LLM）每分鐘只能接收50個請求，提高至每分鐘300個請求，小模型則是每分鐘1,500個至3,000個。

此外，Workers AI還與Hugging Face聯手，新添了可支援的4個模型，包括 Mistral 7B v0.2、Mistral 7B、Google的Gemma 7B和Starling-LM-7B-beta。而且，使用者可在Hugging Face的模型卡頁面，在部署欄位點擊Cloudflare Workers AI，就能利用Cloudflare全球GPU網路資源來直接部署模型。目前，Hugging Face支援的模型共有14個，接下來還會有更多模型加入。

另一方面，Workers AI也發布了10個非測試版的計價器，來提供使用者更划算的用法。與之類似的還有新版儀表板，可顯示跨模型的使用狀況分析，包括神經元計算，可幫助使用者預測價格。Cloudflare也更新了AI試煉場，可讓使用者快速測試和比較不同的模型，並設定提示和參數。（詳全文）

  LLM     Opera     瀏覽器  

在本機就能執行和測試LLM！Opera瀏覽器推出新功能

網頁瀏覽器Opera最近發布一項新功能，用戶可將大型語言模型（LLM）下載到本機端執行或測試，不必再連上伺服器端，意味著資料不須離開電腦。在這項新功能中，Opera支援近50個系列、共150款本機端LLM，包括Meta的Llama、Vicuna、Google的Gemma和Mistral AI的Mixtral等，允許用戶透過瀏覽器下載。

新功能目前以測試版發布給Opera One開發人員。Opera One是去年6月推出的AI瀏覽器，整合原生AI技術的瀏覽器，目前也整合Opera自家的AI助理Aria Chat。目前，開發者可下載Opera One開發者版測試，在本機上使用所支援的LLM和Opera實驗性AI功能。（詳全文）

  Azure AI     微軟     提示注入  

微軟推出Azure AI安全工具，防止惡意提示和AI幻覺

為防止Azure AI服務和模型，遭輸入惡意指令產出有害內容、洩露個資等問題，微軟最近發布多項工具，可偵測和防範惡意提示，也能防範AI幻覺、模型濫用等問題，目前已提供部份功能測試。

進一步來說，這些工具包括提示防護罩及AI模型幻覺偵測、系統範本、越獄評估工具和風險與安全監控。其中，提示防護罩能即時偵測、阻斷基礎模型接收到的惡意提示，另一個是真實性（Groundedness）偵測工具，能偵測文字結果的不真實內容，防範AI模型幻覺問題。另外，微軟也將在Azure AI Studio和Azure OpenAI Service加入安全的系統訊息範本，讓AI應用開發者能建立安全的系統訊息，導引模型使用訓練資料和正確的行為。

另一個新工具則是自動化越獄評估，可偵測AI應用被越獄攻擊、產出暴力、自殘、色情、仇恨、歧視內容的可能性，也會以自然語言解釋評估結果。最後，微軟也提供AI應用風險與安全監控工具，能針對黑名單所封鎖的產出內容，提供數量、嚴重性和內容類別，也能分析被標示為有害的用戶輸入訊息，並根據上下文訊號判斷用戶是否濫用。（詳全文）

  xAI     Grok-1.5     X  

xAI發表Grok-1.5

繼於3月17日開源大型語言模型Grok-1後，xAI再於3月28日發表Grok-1.5，新版本將支援16倍的脈絡長度，預計近期釋出，並成為X上Grok聊天機器人的底層模型。xAI說明，Grok-1.5是在基於JAX、Rust和Kubernetes的客製化分散式訓練框架上建置，能讓團隊輕鬆測試原型，同時大規模訓練新架。這款客製化的訓練協調器，可自動偵測有問題的節點，並從訓練任務中剔除。為降低故障時的停機事件，團隊也優化了檢查點、資料載入和訓練任務的重新啟動機制。

與第一代相比，Grok-1.5有不少進展，在許多基準測試上直追或超越Claude 3 Sonnet和Claude 2，比如Grok-1.5在MMLU（大規模多工語言理解）基準測試的成績為81.3%，超越Claude 2的75%與Claude 3 Sonnet的79%。此外，Grok-1.5也支援128K個Token的脈絡，記憶能力為第一版的16倍，更擅長處理長文件。（詳全文）

  Nvidia     MLPerf     生成式AI  

Nvidia在MLPerf基準測試拿下2個最快

日前，MLCommons發布MLPerf Inference v4基準測試套件的最新結果，Nvidia一次拿下2個模型最快的冠軍，包括資料中心類別的文生圖模型Stable Diffusion XL和開源語言模型Llama 2 70B。這兩個模型，都是這次測試新納入的模型。

MLPerf Inference基準測試套件可分為資料中心和邊緣系統兩個類別，目的是要衡量硬體系統，在各種場景中執行AI模型的速度。就這次新添的模型來說，Llama 2 70B比MLPerf Inference v3.1所納入的GPT-J模型，大了一個量級，是測試高階系統的良好基準。而Stable Diffusion XL則有26億參數，透過生成大量圖像，能透過計算硬體系統的延遲和吞吐量等指標，來了解整體效能。而在邊緣系統類別中，新增的Stable Diffusion XL模型測試則由Wiwynn系統拿下冠軍。（詳全文）

／Google、國科會、Opera

  AI近期新聞 

1. 微軟研究團隊發表AllHands，一種LLM大規模回饋分析框架

2. OpenAI將在東京開設新分部

：iThome整理，2024年4月