为了打造这项对外GAI服务，永丰银行组成跨部门项目团队，定期召开项目会议讨论模型回应和指令。图左为永丰银行财富金融处处长蔡隆裕，图中为永丰银行信息处处长沈志成，图右为永丰银行综合企划处处长王筱岚。

先用新闻筛选模型找出重要新闻，再运用多阶段提示词完成开发

每一份市场摘要报告中，看上去，仅是一串摘要文本，实则处理了国内外超过500个媒体平台的上千篇最新的新闻，背后涉及了大量数据处理工程。

起初，项目团队仅使用一段式指令打造这项应用，但效果并不理想。第一个挑战，是模型难以根据即时性，来排序新闻信息的重要性。「对GAI来说，五天的新闻信息都是等值。」蔡隆裕解释，在没有设置任何参数的情况下，模型可能摘要五日前的新闻，也可能仅摘要近一日的信息，「这就不是我们想呈现给客户的信息。」

第二个挑战，是模型回应对市场趋势看法飘忽不定。蔡隆裕解释，由于新闻报导容易受到市场波动影响，「如果大涨大跌，当天新闻就会写得很热烈，且新闻内容可能较多，但如果当天波动小，新闻内容可能就比较简单、平淡。」这项问题，导致LLM模型输出的摘要，难以形成一致性的见解。

为了解决这些挑战，项目团队在处理新闻数据筛选下了许多功夫。首先，团队把近五日的新闻数据矢量化，并进行矢量化匹配，从中筛选出最相关的新闻，进行第一阶段的杂讯过滤，去除重要性较低的新闻。接着，团队运用一个数学模型，对过滤出的新闻数据进行时间权重计算。这个模型主要负责新闻筛选，可以用来确保LLM模型在生成摘要时，会优先采用应关注的新闻。

运用模型筛选出应采用的新闻信息后，团队才开始运用多段式提示词，来完成这项应用开发。在提示词中，团队过指示模型分段撰写，以及每一段应阐述的重点，来提高模型回复的专业度和可读性。并且，团队也将永丰投顾的未来展望化为一套参数，在提示词中要求参考这项参数，来确保模型回应不会仅依照新闻字面内容生成回应，而是针对特定事件提供专业性较高的见解。

虽然服务已经正式上线，项目团队仍持续持续提升模型筛选新闻的能力、修改提示词，并测试新推出的LLM，若新版模型效果较强，则会改为采用更新的模型服务。

从单一应用起步，永丰银行要创建共用GAI平台加速业务发展GAI应用

GAI摘要的数据，不只用于这项服务，永丰银行计划扩大发展成一个可再利用的共用知识库。永丰银行信息处处长沈志成解释，未来，其他单位不用从头处理，直接筛选或重新撰写提示词，就能生成新的信息。

不只如此，以这项关键应用为基础，永丰银行正逐步发展出一套全行共用的GAI平台，能汇整各种GenAI服务和共用知识库，提供行内各业务单位快速打造GAI应用。而市场信息摘要，正是创建在这个共用平台上的第一支服务。

沈志成解释，这套共用平台具备弹性扩充特性，采用模块化设计，能提供用户快速选用功能模块来开发GAI应用，包括数据库搜索、内容生成，和Copilot应用等模块。对业务单位而言，这套共用平台就是一支API，能串接多种API服务，例如市场信息摘要API、程序生成API，和内部知识顾问API。「（共用平台）类似一套中台服务，全行各个系统都可以通过API介接，来使用生成式AI功能。」沈志成说。

永丰银行信息处处长沈志成表示，永丰银行正逐步发展出一套全行共用的GAI平台，能提供行内各业务单位快速打造GAI应用。

这套共用平台也包含权限设置，除了针对模型输入和输出内容进行把关，也设计成本控管机制，能统计各单位token使用次数，和使用模型服务的开销。

为了打造这套共用平台，永丰银行信息团队正在克服诸多挑战。由于开发生成式AI应用所需的数据来自多个管道，需要运用云端服务或爬虫技术来搜集、汇整数据，如何有效收集并管理来自不同来源的信息，便是其中一项挑战。

此外，信息团队批量处理数据的过程中，如何确保数据能顺利流动是一大关键。甚至，当用户在数据更新的过程中取用数据，如何设置适当的处理机制，也是信息团队需要处理的重要议题。文⊙李昀璇