2024ITValue-文章详情顶部

对话蚂蚁技术研究院院长陈文光:AI的发展极大受到数据驱动,国产推理软件系统仍需追赶英伟达|钛媒体AGI

“因为英伟达投入比较大,做的人也比较多,所以在英伟达上推理系统进展的非常快,效率也很高。一些国产算力上,这些很复杂的新技术还需要在推理软件系统上不断追赶英伟达生态。”

 清华大学计算机科学与技术系教授、蚂蚁集团副总裁、蚂蚁技术研究院院长陈文光

9月5日-7日举行的2024 Inclusion·外滩大会“从DATA for AI到AI for DATA”见解论坛上,清华大学计算机科学与技术系教授、蚂蚁集团副总裁、蚂蚁技术研究院院长陈文光发表演讲。

陈文光在演讲中表示,科学发现过程中有四个范式,包括实验科学、理论科学、数值模拟的高性能计算(HPC)范式,以及当前由 AI 和数据(BigData)形成的第四范式。未来传统的科学计算(HPC)、Al和BigData的融合计算将成为趋势,从而利用科学研究与应用推动计算系统不断发展和变革。

“不光Data和AI在融合,科学计算HPC和AI也在做融合。过去很多使用双精度浮点计算的HPC问题,现在可以用半精度的 AI 计算来进行一定的近似,比如用机器学习的方法来预测蛋白质,用一些 AI的方法来代替模拟的部分,当然,目前它还不能完全替代整个过去基于仿真的科学计算流程,所以它有可能是一部分用 AI,另一部分用传统科学计算方法。”陈文光表示,向AI“对齐”需要从底层系统角度出发,包括硬件的结构和对应的编程语言、编译系统等。

陈文光强调,如同“三国演义”,计算机编程也是天下分久必合,合久必分。当前 AI 热潮下,跨领域代码的融合和组合的优化依然存在巨大的技术机会。

会后,陈文光与钛媒体AGI等少数媒体进行对话交流。

陈文光于2020年加入蚂蚁集团,负责蚂蚁集团图计算技术,2022年起担任蚂蚁技术研究院院长,长期研究高性能计算编程模型和编译系统。同时,陈文光还担任清华大学计算机系教授,国家自然科学基金杰出青年基金获得者,中国计算机学会会士和杰出讲者、学术工委主任,北京计算机学会副理事长,2017-2020年曾任ACM中国理事会主席,拥有清华大学计算机专业博士学位,发表了数十篇核心论文,其参与研发的高性能集群计算机与海量存储系统 (2007)曾获得国家科技进步二等奖。

陈文光对钛媒体AGI 表示,AI扩展到自动驾驶、智能机器人等领域的数据起着更加重要的作用,现在 AI 技术的发展极大受到数据的驱动,如果有更多的数据,就意味着有机会获得更好的模型质量。

陈文光认为,提升 AI(智能)水平并不意味要训一个能力越来越强的模型,通过RAG知识增强模型技术、行业私域数据训练等方案,以及在数据量和数据质量之间的平衡,可以推动大模型技术不断突破。

“如果从人类学习做一些启发,人其实没有看那么多东西,同样的东西看一遍学会了,再看那么多本对我来说没有帮助了,从这个角度讲,高质量的数据和更有效学习方法之间,也有互动的地方,这也有利于未来更有效的利用数据。通过提升数据质量、学习方法,以及在模型外增加能力,这几个方面也都可以在数据量没有增加情况下,进一步提升整个的智能水平。”陈文光表示。

问及未来通过 AI Infra等技术将推动 AI 推理算力成本下降原因,陈文光表示,目前有很多推理优化方法,包括模型量化、压缩、动态批处理等等,而国产推理算力在软件方面需要追赶英伟达生态的技术进展。

具体来说,推理包括两个阶段:一是计算密集的prefill阶段,二是Decode阶段,前一个阶段是计算密集的,后一个阶段是访存密集的,如何在算力上合理分配两个阶段,需要在硬件和软件两个层面开展工作。

“国产的算力上还是要做很多工作,因为英伟达投入比较大,做的人也比较多,所以在英伟达上推理系统进展的非常快,效率也是很高的。一些国产算力上,因为这些很复杂的新技术,还需要在推理软件系统上不断追赶英伟达生态。推理这个工作有点像过去的数据库,它又要求很短的延时,又要求有一个大的吞吐率,在满足延迟的条件下最大化吞吐率对系统的提供商是最好的,它又有很强的内存带宽的需求,所以说怎么把这样一个复杂的计算在整个AI Infra-Structure支持好,还有很多工作要做。”陈文光表示。

陈文光指出,当前行业大模型落地的最佳场景主要是金融和教育。其中,金融领域的行业大模型既有客户需求的基础,还有积极的反馈与良好的市场前景;教育方面,当前师资稀缺,而且高水平的教育没有办法做到因材施教,因此大模型提供重要机会,能够用可接受的成本为每个人提供教育服务。

当被问及数据共享机制,陈文光强调,现在数据共享存在诸多挑战,比如通过密码学和可信执行环境组合起来的方案,需要依赖硬件,在硬件规定的区域、内存里面做相应的计算,如果信任这个硬件的话,安全性是有保证的。同时也有多方安全计算、联邦学习,全同态加密等各种各样的方法,其性能、效果之间会有不同权衡,解决这些问题还有很长的路要走。

(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

22:59

云计算供应商CoreWeave洽谈按230亿美元估值出售现有股份

22:57

欧盟中国商会就欧盟拒绝中国电动汽车制造商所有价格承诺建议发布声明

22:56

2024年中秋档电影新片票房破7000万元

22:45

央行8月重要金融数据一览:M1连续第5个月同比下降,前八个月社融同比少增3.32万亿元

22:21

市场消息:老虎全球计划参与OpenAI的本轮融资

22:16

8月M1同比-7.3%,连续第5个月同比下降

22:11

世荣兆业:珠海大横琴安居投资有限公司要约收购期满,股票停牌

22:08

联创股份、*ST银江、朗源股份同日公告因涉嫌信披违法违规遭证监会立案

22:07

密歇根大学调查显示消费者对未来5-10年的通胀率预期从3%升至3.1%

22:01

密歇根大学调查显示1年期通胀预期降至2.7%,为2020年12月以来最低

22:01

海关发布:即日起允许符合相关要求的布隆迪咖啡豆进口

22:00

美国9月密歇根大学消费者信心指数初值69,预期68.5,前值67.9

21:49

从120亿元到39.9万亿元,中国制造实现跨越式增长

21:48

现货白银日内涨幅达3%,现报30.75美元/盎司

21:48

李强结束出访回到北京

21:40

李尚福等人全国人大代表资格被终止

21:34

甲骨文股价开盘大涨7.8%,创下纪录新高

21:33

美股开盘:三大指数集体上涨,甲骨文涨超7%,热门中概股涨跌不一

21:29

iPhone 16系列预售开启,饿了么:iPhone 搜索量涨100倍

21:20

现货黄金升破2580美元/盎司,续创历史新高

扫描下载App

Baidu
map