| 创新场景-钛媒体官方网站 - TMTPost

大模型赋能安全合规,问答助手准确率超90% | 创新场景

1.从金融出发,扩展到独特国资委监管场景:基于全牌照的优势,平台深耕金融合规领域,在各金融牌照公司应用后准确度能够达到90%以上,未来将应用到国资委对其下属企业的监管场景中,赋能国资委的合规监;2.技术架构和模型调优,实现模型自训练闭环:基于业内LangChain+LLM方式搭建本地知识库,它彻底改变了广泛应用的开发过程,能够使用大部分LLM来快速创建私有知识库,采用了Fine Tuner的方式进行模型调优,形成了一个完整的模型自训练闭环,并保证模型持续优化和更新;3.从点到面,逐步演进,对平台进行建设和推广。AI小科智慧合规平台不仅仅只应用在合规场景,将其逐步扩建打造为金融行业大模型。

场景描述

随着人工智能的迅猛发展,各行各业都在积极探索智能化工具赋能工作质效的应用方法。华发投控合规法务部秉承着创新为先的理念,与金科研究院进行科技与业务的深入融合,在对AIGC应用能力达成共识的基础上,即主要是从一些重复性的、日常性的工作中解放人力,并由于其在大数据分析和决策支持方面的强大能力,使其能从庞大的数集中提取内容,洞察和预测趋势,从而为人工决策提供决策依据,从合规业务工作中的实际痛点出发,在深度应用LLMs的基础能力基础上,联合开发了新的合规智能工具—华发AI小科智慧合规平台。以实现业务推动科技创新,科技赋能业务创新的良性循环。

痛点分析

在企业的各个业务板块相应合规、法务部门人员的日常合规工作开展中,无论是对内规的制定还是对业务的合规性判断,都高度依赖相应外规制度的完整性和时效性,以及对内外规的内容掌握准确度。然该场景下的合规工作存在下列4个共性痛点:

一是目前公司内外规制度内容繁多,不但包括业务对应法规还包括通用性法规,且制度由于发布时间不同相对分散,目前由人工去整理和维护内外规存在的投入时间长以及制度遗漏的问题。

二是合规部门在日常工作中,会高频地被问到公司内部的相关制度规范,此项工作不但需要投入专人去解答,并且由于制度的内容较多,需花费不少时间与精力去查找规章制度的原文,整个过程需耗费大量的人力还有遗漏的风险。

三是外规出现经常修订或者废止的实际情况,而公司层面维护的外规并不能判断是同一个外规从而无法进行实时更新维护,导致本地外规更新不及时不能及时匹配监管要求。

四是由于公司层面人工维护的外规更新不及时,导致根据该外规制定的内规也需要事后由人工筛选别和修改,无法保证内规与最新外规一致,可能发生合规风险。

具体场景描述:

1)合规库管理能力(财务公司库为例):为解决目前公司内外规规章制度内容繁多,且制度由于发布时间不同相对分散,由人工去整理和维护内外规存在的投入时间长、以及制度遗漏的问题。通过建立内外规的法规知识库,并通过AI去自动获取外规丰富知识库内容,对内外规进行分类管理。同时法规文本进行了向量拆分,满足对法规的快速查询和获取的业务需求,支持业务通过AI能力一键实时查询内外规的源文件和文档内容。

2)合规检索能力(投控合规法务检索助手为例):在投控合规法务部的制度规范性专项提升工作中,需要对海量外规进行人工筛查以便对内规进行查漏补缺,通常一个文档的检索至少一人力需要30分钟的时间。通过与业务方进行详细的需求访谈,AI小科上线外规检索能力,支持用户通过批量关键词进行全文档的检索和导出能力,海量文库只需1分钟的时间。主要功能包括支持单个牌照库内的文档检索;支持输入单个关键词进行检索;支持输入多个检索词批量进行检索;支持将检索结果导出到本地excel;支持在导出的excel内一键打开PDF源文件等。

3)合规问答能力(证券外规问答为例): 为解决公司合规法务部在日常工作中,会高频地被问到公司内部的相关制度规范,需耗费大量人力去重复回答的问题,并且由于制度内容较多,需花费不少时间与精力去查找规章制度的原文,整个过程不但需耗费大量的人力还有遗漏的风险。由于严监管口径,证券公司合规性要求较高,合规法务同事的问询工作相对较多,因此我们将集团证券公司作为首个赋能业务单元进行了合规问答的建设。

通过度应用LLMs的基础能力,利用合规数据对模型调优,建设了跨文档跨知识库的法规AI问答能力,证券问答助手将证券监管外规文件建立为本地知识库,通过对数据进行加载和预处理、向量化等方式提取、整理相关法规资料,让用户可以快速搜索、解读相关法规条款。主要功能点包括支持对证券合规知识库内的已有问题进行回答;支持对回答内容进行打分并将打分结果进行模型训练;支持查看答案内容相对应的原文条款出处并支持对条款出处打分。

问答助手的整体准确率在90%左右,高效地实现以AI辅助人工的方式去开展此项工作,作为AI内部客服解放合规同事针对相同问题反复回答的人力,赋能工作质效。同时未来应用于其他业务合规场景时,只需批量进行上传合规文件即可自动进行模型调优,实现快速应用和上线。

4)法规AI效力追踪:在现实层面外规出现经常修订或者废止的实际情况,而公司层面维护的外规并不能判断是同一个外规从而无法进行实时更新维护,导致本地外规更新不及时不能及时匹配监管要求。与此同时由于公司层面人工维护的外规更新不及时,导致根据该外规制定的内规也需要事后由人工筛选别和修改,无法保证内规与最新外规一致,可能发生合规风险。通过AI联网自动比对监管最新发布的外规和公司本地外规的一致性,对外规进行持续效力追踪并实时在公司库自动更新维护最新外规,同时对依据该外规制定的内规进行AI预警,辅助相应合规部门及时修订内规,确保内外规的一致性预防和降低合规风险。

     

解决方案

技术层面:AI小科基于LLMs的底层通用能力,使用LangChain+LLM方式搭建本地私有合规知识库,通过链接多个模块的组件形成基于已有知识库的问答。其核心本地化知识库的专属问答助理构建过程可简单概括为四步:

一是数据加载&预处理:将数据源转换为text,并做text split等预处理;

二是文本拆分和向量化:将文本进行拆分,数据由Embedding模型处理;

三是召回:通过向量检索工具Faiss等对Query相关文档召回;

四是阅读理解和总结答案:将Context与query传给LLMs,由LLMs生成总结答案即AIGC。

模型调优:在Finetuning、Prompt tuning、LoRA、Prefix Tuning、Fine Tuner以及In-context learning等众多模型微调的技术手段中,为确保业务效果达到最优解,金科研究院不断进行AB验证,经过多轮技术方案的调整和优化,目前采用了Fine Tuner的方式进行模型调优,主要流程如下:

数据准备:通过问答助手或自定义方式,采集句子对并打分,形成调优数据列表。这些数据将被整合成调优模型所需的dataset数据集。

定时任务:分布式定时任务定期扫描调优模型dataset数据集,确保数据的新鲜度和准确性。

模型加载与配置:使用uniem FineTuner工具,加载预训练模型至内存,并同步加载dataset数据集。随后,配置调优参数,如epochs、batch_size、学习率(lr)等。

模型调优:调用finetuner.run进行模型调优,根据dataset数据集优化模型性能。

模型保存与更新:调优成功后,将新模型保存至临时空间。同时,备份原有模型,确保数据安全。最后,更新模型版本为最新模型。

知识库嵌入:重新加载模型知识库embedding,确保模型具备最新的知识信息。

整体而言,上述步骤形成了一个完整的模型自训练闭环,并能保证模型持续优化和更新,从而持续优化业务效果更好赋能业务提质增效。

成效

 

在能力层面AI小科智慧合规平台打造了合规文库、合规检索、AI 问答的 1+3 模块;场景建设层面建设了华发投控层面的合规知识库、投控合规法务部内外规检索助手、证券法规问答场景等,助力合规风险防控前置,实现一线人员合规管理自动化、智能化。

在业务成效上通过人工智能技术来降低成本并提高效率,业务单元越多地应用人工智能技术,便能更优地优化业务流程、提高生产效率并降低成本。通过AI降本增效各业务单元可以更好地利用大数据、机器学习和其他人工智能工具来提供效率优化流程提高生产力。具体成效如下:

1)法规库建设层面,分类搭建金融和类金融机构9个合规库(证券、期货、保险、融担、小贷、保理等),引入法规2000多个,初步完成华发金融板块的合规平台建设。

2)法规检索能力层面,助力投控合规法务部的制度规范性专项提升工作,按照一年2次的排查频率计算,为合规法务部一年节约1人力。

3)法规问答能力层面,证券AI合规客服为解放合规同事针对相同问题反复回答的人力,高效地实现以AI辅助人工的方式去开展此项工作,赋能业务工作质效节约80%人力。

4)AI效力追踪层面 解决法规维护核心痛点:AI智慧合规平台通过AI联网自动比对监管最新发外规和公司本地外规的一致性,对外规进行持续效力追踪并实时在公司库自动更新维护最新外规,同时对依据该外规制定的内规进行AI预警,辅助相应合规部门及时修订内规,有效解决法规维护缺失和效力无法追踪的痛点。

5)技术快速应用推广 边际效应低:平台在底座建设过程中,已完成基础模型和模型调优的方法建设,通过Fine Tuner的方式形成了一个完整的模型自训练闭环,能保证模型持续优化和更新。因而未来应用于其他业务合规场景时,只需批量进行上传合规文件即可自动进行模型调优,完成场景快速应用上线。

未来我们将持续对AI小科智慧合规平台进行全方位建设,包括平台场景建设、模型建设、市场推广和综合事项等。一是在平台建设层面,接入华发集团内的金融和非金融行业合规事项,全面建立华发集团层面的合规管理平台;二是在平台场景建设层面,逐步建设模型智能研报、智能风控、智能投顾等其他模块能力,打造金融行业大模型;三是在市场推广层面:借助国资监管场景场景等,沉淀产品能力逐步向国资体系推广行成商业模式后,形成项目营收;四是在综合业务层面:完成大模型备案和算法备案双备案事宜,持证上岗;推进完成专利申请、软著申请工作以及其他课题申报等相关工作。

本文系作者 珠海华发金融科技研究院有限公司 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
  • 传统nlp场景,确实很适合大模型替换。但是技术上没什么护城河。。

    作者赞过
    回复 8月31日 · via miniapp_android
  • 这个场景有较大普遍性,相关大模型AI技术也成热,可以完善后推出服务。

    作者赞过
    回复 9月1日 · via miniapp_android
  • 是个很好的应用场景

    回复 9月10日 · via miniapp_iphone
  • 技术前沿,不错

    回复 9月5日 · via miniapp_iphone
  • 是痛点

    回复 9月4日 · via miniapp_harmony
  • 我看行

    回复 8月30日 · via miniapp_harmony
  • 合规那个厉害,准确率达90%

    回复 8月30日 · via miniapp_android
  • 这个确实厉害,效率提升很高啊

    回复 8月30日 · via miniapp_android
  • 回复 8月30日 · via miniapp_android
  • 回复 8月30日 · via miniapp_android
更多评论
14

扫描下载App

Baidu
map