

Google邊緣AI的戰略,不只推出在Android裝置上跑的輕量版本Gemini模型,還推出一個相同技術的開源版,要將其影響力從雲端向下延伸到邊緣
Google初期在Android行動裝置中提供3類Gemini應用,包括錄音摘要、Gboard鍵盤智慧回覆和聊天傳訊改寫。舉例來說,Pixel 8 Pro手機使用者可以在轉錄工具App中使用Gemini Nano模型提供會議音檔的重點摘要。此外,Gemini也能夠根據鍵盤上的上下文輸入提供文字的建議,而且聊天訊息對話過程中,也能根據原始內容提供改寫的建議。(攝影/余至浩)
Gemini要利用相同技術的GAI開源模型Gemma進軍邊緣AI
Google在邊緣AI策略,除了推出可在裝置上跑的Gemini Nano模型,還將另一款採用相同技術研發的邊緣GAI模型Gemma開源,要借助開源社群的力量將Gemini影響力向外擴散到更多應用領域之中,這是Google在邊緣AI另一大重要策略。
Gemma是Google在今年2月釋出的一款輕量級邊緣GAI開源模型,用來挑戰臉書Meta的LlaMa。Gemma正式採用Apache-2.0授權釋出,因此其更易於散播,並且可以在桌機、筆電,甚至行動裝置、IoT裝置上執行。
Gemma採用與Gemini模型系列相同的架構、訓練資料和訓練方法,利用了6兆個Tokens的資料集(包含網路文檔、數學和程式碼)進行訓練,而且同樣基於安全與負責任的AI原則設計。不過,與Gemini不同的是,Gemma並非多模態模型,僅能支援單一資料型態,目前僅支援英語輸入。
Gemma發布後,Google隨後將Gemma和其商用GAI模型Gemini API並列在Google AI for developer頁面的GAI工具列表中,提供給開發人員使用,表明對其未來發展的重視。
在會前一場亞太媒體活動上,Thomas Kurian透露對於這款邊緣GAI模型未來發展的企圖,他強調:「Gemma建立在與Gemini相同的基礎技術和能力上,目的是吸引開發者生態系統的加入,並透過Gemma向開發者社群提供Gemini中可用功能。」
不只能夠透過社群回饋持續提高和改進Gemma模型的能力,Google同時也能將這些改進應用在正式的商用Gemini產品中,使模型表現越來越好,甚至借助開源社群的力量將Gemini影響力向外擴散到更多應用領域。
借助開源力量將Gemini影響力向外擴散到更多應用領域
開發人員現在已經可以在Android裝置中安裝和執行Gemma, 透過MediaPipe 釋出的實驗性LLM推論API,可以支援包括Gemma 2B模型在內的推論任務。Gemma現階段提供了70 億和20 億參數兩種版本,前者用在GPU和TPU上的應用部署和開發,後者則是專用在CPU為主的裝置應用上。
不過在GPU的裝置上執行20億和70億的Gemma模型,分別需要至少8GB以上和24GB以上的記憶體。
Google雖然不是唯一一家將自家GAI模型開源的公雲業者,例如微軟最近釋出了SLM模型Phi-3-min,同樣可以在行動裝置上執行。但是Google在Next大會上進一步在雲端LLM開發平臺Vertex中開始提供Gemma系列模型,包括程式碼生成模型CodeGemma等,讓企業可以在自家LLM應用中開始採用。
此外,Google在其GDC分散式雲端服務中開始提供Gemma模型的支援,進一步將Gemma應用到了靠近資料所在的企業邊緣環境,例如工廠等。