

Granite 3.0是轻量级的基础模型,最大到8B参数量,采可商用的Apache 2.0开源授权,可部署在企业内部环境,也能在硬件资源较低的环境中运行,要瞄准企业落地部署需求
台湾IBM的客户工程团队从2023年至今,完成了数百个GAI客户PoC案例,已有高科技制造和金融的GAI应用实例,例如有金融业者用GAI来搜索内部知识文档,或是用来整理语音会议的文本记录。也有高科技业者用RAG作法来检核ESG报告的内容,是否符合不同ESG标准的各项要求。
庄士逸表示,台湾IBM的GAI发展策略,主要分为两大作法,一是针对有意采用GAI但需求还不明确的企业,IBM将扮演顾问来协助,找来有大型企业客户经验的数据科学家,协助这些企业评估和试验LLM模型的应用。另一项作法则瞄准需求明确的企业,提供设计思考工作坊,也以4~8周时间打造出目标应用场景的PoC验证,或是最小可行产品(MVP),供企业评估是否正式导入。
他观察,过去一年,台湾企业大多处于试验、寻找使用情境或是验证RAG作法,接下来会开始往IT自动化、代码模型开发、智能助理等方向发展。不过,目前采落地部署的案例多以LLaMA模型为主,台湾IBM未来也计划引荐自家Granite模型给台湾企业。