场景描述
华通证券国际有限公司（以下简称华通证券）是拥有 33 年证券行业经验的持牌券商，华通证券的海外客户咨询时，往往涉及大量的账户信息和交易数据等，客户若得不到及时回复，就会缺乏安全感，同时对公司的信任度也会大大降低。
解决方案
面向海外客户，华通证券通过亚马逊云科技 Amazon Bedrock 调用 Anthropic Claude 3 模型构建 AI 客服，通过 Claude Sonnet、Haiku 模型识别客户意图，结合华通证券的自建知识库，和引入的开源 embedding（嵌入）模型，自动生成专业严谨、满足客户诉求的回复。
在 AI 客服构建中，起初华通证券的工程师自己摸索编写提示词，初始版本的 AI 客服生成的答复用语较长，句式不太符合口语表达习惯，效果不尽理想。
为此，亚马逊云科技专门安排了专家团队来到华通证券，提供关于提示词的最佳实践介绍和技术支持，帮助华通证券开发人员清晰了解不同的提示词及其对应的大语言模型输出效果，指导开发人员更好地构建有效的提示词库。经过 PE（Prompt Engineering，提示词工程）优化后，AI 客服生成的回复比较简短，有更多更个性化表现，句式和口吻等更符合日常交流，让 AI 客服的角色设定更符合既定要求，更自然和人性化。
除了 AI 客服，华通证券面向海外客户通过与亚马逊云科技 Amazon Bedrock 调用 Claude 模型，结合向量知识库、文本语音互转等技术，整合上市公司、资本市场相关数据，打造并发布了 AI 投资者关系官。上市公司通过 AI 投资者关系官数字人与海外投资者无缝沟通，回答投资者各类提问，提升上市公司的投资者关系工作生产力。
此外，AI 投资者关系官还能为上市公司提供增值服务，在华通证券的上市公司与投资者社区中面向投资者开展上市公司直播，通过 AI 投资者关系官数字人的持续曝光，与华通证券实现流量互引，在投资者中扩大双方的品牌覆盖和提升品牌形象。
在实际的部署和应用中发现，相比于华通证券之前采用的其它大语言模型，通过 Amazon Bedrock 调用 Claude 模型，不仅仅综合性能更好，而且安全性也得到了更充分保障。
成效
3 个月落地 2 项生成式 AI 应用，让 AI 客服效能起飞，投资者关系管理再进化
华通证券的生成式 AI 应用部署，原本预计需要半年才能完成。和亚马逊云科技合作后，通过 Amazon Bedrock 调用先进的大语言模型和端到端生成式 AI 服务，从初步接洽、POC 测试、架构部署，到 AI 客服、AI 投资者关系官最终上线，仅用不到 3 个月就完成了应用落地。
7*24 小时 “秒回” 响应和个性化准确回复，将客户投诉率降低 80%
通过 Amazon Bedrock 调用 Claude 模型，AI 客服可以准确地识别海外客户意图，将客服响应时间从数分钟压缩到 3 秒内，7*24 小时、近乎实时地处理客户咨询和服务请求。Claude 模型在角色扮演类场景表现突出，借助 PE 进行提示词优化后，AI 客服面向海外客户生成的回复更加个性化和贴近日常对话，符合角色设定。客服“秒回”式响应和个性化准确回复，让客户投诉率降低 80%，增强客户体验，客户粘性进一步加强。
AI 客服提高客服人员效率，综合运营成本节省了 36.6%
在生成式 AI 应用部署前，华通证券面向海外客户的客服工作需要配置两位白天客服和五位夜间客服。通过亚马逊云科技引入生成式 AI 技术后，客服人员只需对大语言模型生成的回复内容进行审核和增强，大大节省了客服人员效率。华通证券仅需采用 3 位人工客服配合 AI 客服即可胜任之前的海外客服工作，客服人员的培训、管理成本均大大减少，调配的客服资源还可投入到更具生产力的岗位中，综合运营成本节省了 36.6%。
除了客服和投资者关系官这两大场景外，华通证券还在尝试生成式 AI 在证券业务更多场景如结算、投顾、HR 中的应用。华通证券期望借助生成式 AI 生成财务报表、生成市场分析报告、提供投资建议、提供风险管理提示、撰写新闻稿等，减少人工在这些场景中的时间和成本投入，提升业务流程的智能化和效率。华通证券与亚马逊云科技将继续探索如何把最新生成式 AI 技术引入到证券业务中，并一起规划、构建和部署生成式 AI 应用，推动行业的数智升级。
快报
根据《网络安全法》实名制要求，请绑定手机号后发表评论
生成式AI回答客户咨询的准确性、合规性目前还是存在一定问题的。
这个场景真的需要用到大模型技术么？