台新金控在今年臺北金融科技展上，展示了多項GenAI應用，包括客服應用和圖片影片生成服務，這些應用都是由台新自行訓練的LLM開發而成。目前，台新自行訓練的LLM分為兩種，一種是台新腦，擁有370億參數量的模型，負責發展智能客服等應用，另一類是工具腦，包含數個參數量較小的LLM，負責處理單一工作任務，例如圖片生成、報告生成等任務。
台新金控在2024年臺北金融科技展上公開展示運用自行訓練的LLM打造的擬真客服人員。（攝影：李昀璇）
今年臺北金融科技展上，多家金融業者展示自家GenAI應用。台新金控也是其中一間業者，展示包括用生成式AI升級的智能客服、服務企金客戶的擬真客服人員、影片生成服務，和音樂生成服務等應用。
不過，台新的亮點不僅在GenAI應用本身，而是背後運用的模型。沒有直接採用雲端現成的生成式AI服務，台新用現成的基礎模型進行預訓練，來客製出專屬的大型語言模型。在今年臺北金融科技展上，台新展出的客服相關應用，就是透過一個名為台新腦的LLM打造而成。甚至，台新金控資訊長孫一仕也喊出，預計最快年底對外推出運用台新腦升級的智能客服。
自行訓練LLM，靠台新腦和工具腦分工發展GenAI客服和特定任務
台新現有大型語言模型分為兩種，一種是台新腦，是一個擁有370億參數量的LLM，負責「懂台新」，發展智能客服等應用。另一種是工具腦，包含數個參數量較小的LLM，負責處理單一工作任務，如報告生成、圖片生成、影片生成等任務。
就台新腦來說，台新金控資訊長孫一仕表示，他們和外部廠商合作，先運用雲端資源訓練370億參數量的LLM。訓練完成後，再將模型放置於台新內部的地端環境運作。自今年5月，台新就訓練出第一版台新腦。孫一仕表示，在測試台新腦過程中，台新除了運用基本的中英文測試集，也運用金融專業人士的考試題目來測試「台新腦」的金融知識。目前，台新腦經過5輪測試，預計會再進行2輪測試。
除了運用台新腦打造客服應用，台新也預訓練數個參數量較小的開源大型語言模型，打造數個處理特定工作任務的「工具腦」。例如，台新在臺北金融科技展上展出的影片生成服務和音樂生成服務，就是透過不同工具腦開發而成，而非透過台新腦打造。
為了發展AI，台新預估已投入約3,000萬，光是硬體資源就包含16片Nvidia H100 GPU。此外，台新也組成一支擁有20位AI專業人員的團隊，負責訓練模型、開發應用，和將AI應用介接IT系統。並且，這支團隊也要負責和業務單位討論GenAI需求。
目前，台新內部落地的GenAI應用分為三類，「一個是智能客服，一個是內部知識管理，第三個是內部圖片生成。」孫一仕表示，內部正在積極和各子公司合作，預計明年將推出12支AI應用，包括智能理專和智能對練等對內服務。
