為了打造這項對外GAI服務，永豐銀行組成跨部門專案團隊，定期召開專案會議討論模型回應和指令。圖左為永豐銀行財富金融處處長蔡隆裕，圖中為永豐銀行資訊處處長沈志成，圖右為永豐銀行綜合企劃處處長王筱嵐。

先用新聞篩選模型找出重要新聞，再運用多階段提示詞完成開發

每一份市場摘要報告中，看上去，僅是一串摘要文字，實則處理了國內外超過500個媒體平臺的上千篇最新的新聞，背後涉及了大量資料處理工程。

起初，專案團隊僅使用一段式指令打造這項應用，但效果並不理想。第一個挑戰，是模型難以根據即時性，來排序新聞資訊的重要性。「對GAI來說，五天的新聞資訊都是等值。」蔡隆裕解釋，在沒有設定任何參數的情況下，模型可能摘要五日前的新聞，也可能僅摘要近一日的資訊，「這就不是我們想呈現給客戶的資訊。」

第二個挑戰，是模型回應對市場趨勢看法飄忽不定。蔡隆裕解釋，由於新聞報導容易受到市場波動影響，「如果大漲大跌，當天新聞就會寫得很熱烈，且新聞內容可能較多，但如果當天波動小，新聞內容可能就比較簡單、平淡。」這項問題，導致LLM模型輸出的摘要，難以形成一致性的見解。

為了解決這些挑戰，專案團隊在處理新聞資料篩選下了許多功夫。首先，團隊把近五日的新聞資料向量化，並進行向量化匹配，從中篩選出最相關的新聞，進行第一階段的雜訊過濾，去除重要性較低的新聞。接著，團隊運用一個數學模型，對過濾出的新聞資料進行時間權重計算。這個模型主要負責新聞篩選，可以用來確保LLM模型在生成摘要時，會優先採用應關注的新聞。

運用模型篩選出應採用的新聞資訊後，團隊才開始運用多段式提示詞，來完成這項應用開發。在提示詞中，團隊過指示模型分段撰寫，以及每一段應闡述的重點，來提高模型回覆的專業度和可讀性。並且，團隊也將永豐投顧的未來展望化為一套參數，在提示詞中要求參考這項參數，來確保模型回應不會僅依照新聞字面內容生成回應，而是針對特定事件提供專業性較高的見解。

雖然服務已經正式上線，專案團隊仍持續持續提升模型篩選新聞的能力、修改提示詞，並測試新推出的LLM，若新版模型效果較強，則會改為採用更新的模型服務。

從單一應用起步，永豐銀行要建立共用GAI平臺加速業務發展GAI應用

GAI摘要的資料，不只用於這項服務，永豐銀行計畫擴大發展成一個可再利用的共用知識庫。永豐銀行資訊處處長沈志成解釋，未來，其他單位不用從頭處理，直接篩選或重新撰寫提示詞，就能生成新的資訊。

不只如此，以這項關鍵應用為基礎，永豐銀行正逐步發展出一套全行共用的GAI平臺，能彙整各種GenAI服務和共用知識庫，提供行內各業務單位快速打造GAI應用。而市場資訊摘要，正是建立在這個共用平臺上的第一支服務。

沈志成解釋，這套共用平臺具備彈性擴充特性，採用模組化設計，能提供使用者快速選用功能模組來開發GAI應用，包括資料庫搜索、內容生成，和Copilot應用等模組。對業務單位而言，這套共用平臺就是一支API，能串接多種API服務，例如市場資訊摘要API、程式生成API，和內部知識顧問API。「（共用平臺）類似一套中臺服務，全行各個系統都可以透過API介接，來使用生成式AI功能。」沈志成說。

永豐銀行資訊處處長沈志成表示，永豐銀行正逐步發展出一套全行共用的GAI平臺，能提供行內各業務單位快速打造GAI應用。

這套共用平臺也包含權限設置，除了針對模型輸入和輸出內容進行把關，也設計成本控管機制，能統計各單位token使用次數，和使用模型服務的開銷。

為了打造這套共用平臺，永豐銀行資訊團隊正在克服諸多挑戰。由於開發生成式AI應用所需的資料來自多個管道，需要運用雲端服務或爬蟲技術來蒐集、彙整資料，如何有效收集並管理來自不同來源的資訊，便是其中一項挑戰。

此外，資訊團隊批次處理資料的過程中，如何確保資料能順利流動是一大關鍵。甚至，當使用者在資料更新的過程中取用資料，如何設置適當的處理機制，也是資訊團隊需要處理的重要議題。文⊙李昀璇