作家 | 徐豫剪辑 | 漠影丝袜吧
智东西9月13日音尘，百度系统架构师、百度智能云AI狡计部精采东谈主王雁鹏向媒体解读了大模子期间的算力资本。为了灵验镌汰AI万卡集群的算力开支，他建议搭载RDMA网罗、自动并行战术、保证考试踏实性、动态分派算力、多芯异构混训，共五个方面的科罚决策。
夙昔互联网期间，管事器每台数万元，各大厂商光是采购资本就要消费几个亿。腾贵的开销促使互联网大厂自研管事器，百度亦然其中一员，该公司自2011年起涉足狡计基础门径成就。
筹商词，追随深度学习的发展，GPU集群来到万卡范畴，大模子期间的算力资本仍是远高于东谈主力资本。王雁鹏称丝袜吧，当下忽地只是1%的算力，亦然很大的一笔花销，算力之贵也体现出狡计基础门径的蹙迫性。
近期，不少业内东谈主士以为，“兼容CUDA是AI芯片的决胜点”，但王雁鹏并不认同这个不雅点。他诠释谈，不少模子兼容CUDA后，只留下了1/3的性能，失去了原有的竞争力。英伟达是基于CUDA构建了一个加快库生态，王雁鹏则以为，其中生态库的壁垒才是委果的难点。
一、现时的模子考试深广吃掉了超5成算力来到AI大模子期间，算力的复杂性已从硬件转机到了软件上，这也导致各大AI开发者利用算力的难度指数级高涨。据百度系统架构师、百度智能云AI狡计部精采东谈主王雁鹏了解，现阶段的模子考试深广忽地了超5成的算力。
当先的CPU通用狡计期间，硬件和软件之间高度协同，假定CPU的性能进步了一倍，那么使用该CPU的软件，其性能也会相应地翻一番。
后续来到GPU数值加快狡计期间，芯片架构更简便，以专注于提供最大的算力。开发者们频繁利用GPU卓越的算力上风，构建一系列复杂的加快库和框架，有针对性地适配不同应用场景。
性爱咫尺，咱们已处于AI大集群超算期间。单一的芯片仍是不及以独处科罚问题，因此需要大范畴的芯片协同科罚一个问题，GPU集群范畴甚而达到10万卡。
在王雁鹏看来，上述狡计范式的变迁决定了狡计体系机构的技艺发展，跳蛋户外而这种结构上的变化，又催生了云狡计的技艺和居品方式。“云狡计不错看作一种售卖AI基础门径的体式”，他说谈。
打个譬如，当今可能惟有一块GPU，但其算力分给了100个东谈主用；大约说一个考试任务被切分到十万张卡里运算，这背后需要弥散的存储资源来支执。
▲灵验算力的5大参考办法
如安在大模子期间进展出AI大集群的灵验算力，王彦鹏给出了一个狡计模子考试经过中灵验算力的公式，即灵验算力特殊于能耗灵验率（PUE）、单卡算力灵验率（MFU）、并行彭胀灵验率、灵验考试时候、资源利用这5项数据的乘积。
二、从五大维度开释万卡集群的GPU算力为了科罚大模子期间算力利用率低的难点，王彦鹏从灵验算力公式中的五大方面出手，建议了5个有助于开释算力潜能的GPU想象理念。
1、为万卡AI场景想象的RDMA网罗适配AI集群丝袜吧
传统的IB网罗是为HPC想象的，并不适用于AI集群。这主若是因为两者的想象理念优先级存在冲突，HPC是延伸优先，AI则是迷糊优先。
据王彦鹏主张，百度永久基于RDMA网罗构建万卡级别以上的AI集群，以减少内存带宽瓶颈。从数据扫尾来看，应用RDMA网罗后AI集群的带宽灵验率从60%进步至95%，模子性能则增强了5%到10%。
2、自动并行战术是AI集群最蹙迫的演进范式
百度的自动并行战术搜索有两个中枢战术。
一方面，百度弃取了“边狡计边通讯”的面孔，检朴数据搬运所消费的时候，减少算力和动力损耗。
另一方面，显存优化的切分战术将运算中断所忽地的时候，措施在几分钟内。
▲百度通过RDMA网罗支执AI万卡集群的考试
收成于此，百度旗下的模子性能不仅能达到开源模子的130%，也比东谈主工调优的模子成果好。
3、保证踏实不竭交的任务运转是一个系统工程
王彦鹏屡次强调了踏实性在AI考试中起到的蹙迫作用。AI考试的狡计任务是同步进行的，如果半途出现故障，万卡的故障定位是一个相等珍重且弗成控的事情。
同期，磋商到万卡范畴的AI集群中断频率较高，频繁是牵一发而动全身。王彦鹏建议，“无效考试时候=故障次数*故障规复时候+写查验点的时候”。因此，一朝某个点位出现故障，其影响可能被扩大了十万倍。
▲不错通过3个公式笼统判断AI集群的考试服从
据王彦鹏先容，百度通过Hang检测、慢节点检测、秒级捕捉查验点、分钟级任务规复等面孔，来定位和开垦出现故障的单张芯片。咫尺，百度文心一言大模子的灵验考试时长比例超99%。
4、考试一体进步资源利用率
咫尺，主流模子考试存在以下4个弱势。
启航点在线推理或狡计任务当中，系统在峰值负载时的性能是平均负载时的3倍。这意味着系统在想象时预留了较多的算力以应付峰值。但AI集群的波峰和波谷其实较为赫然，这也形成非峰值时资源的大批忽地，后续在想象上还不错进一步优化。
其次，大批微调模子存在冷热漫衍不均的情况。此外，其实有好多狡计任务不错通过离线推理罢了，但仍占用了一定的算力资源。临了，从单卡狡计转向万卡狡计期间，考试任务漫衍广、数目大。
关于上述问题，王雁鹏以为，总的来说是要罢了算力流量和资源的动态分派，以便跑通不同范畴的层级。百度的百舸异构狡计平台（AIHC）愚弄单机多推理实力羼杂布局、弹性层级队伍、考试任务弹性伸缩机制三种模式后，公司里面和客户的资源利用率都从50%进步到了90%。
5、多芯混训是科罚算力卡脖子的要道技艺
据王雁鹏先容，咫尺市面上的芯片规格、版块、存量和算力水平都芜杂不都。他建议，不错用一套兼容的框架将种种各样的芯片组合起来，形成一个浩繁的算力集群。
有共同的“大脑”后，AI开发者不错通过该集群息争调遣整个芯片的算力，从而提高服从、检朴开支。
百度在异构并行切分战术下，搭建了跨芯调换库，并接收了Accelerator抽象想象方法，从而罢了千卡性能蚀本仅3%，以及万卡性能蚀本仅5%。
不外，王雁鹏也谈谈，多芯的异构混训诚然表面上可行，但执行实行起来，还有诸多技艺难点亟待科罚。
结语：冲突3个中枢技艺，为十万卡集群作念准备咫尺，好意思国AI大模子独角兽OpenAI和xAI的模子考试范畴已卷到10万卡级别，百度也将加入这场围绕AI集群算力的竞争，算力应用场景则聚焦于大谈话模子和自动驾驶技艺。
王雁鹏向媒体主张，后续百度将执续在3个中枢技艺上寻求芯片想象架构的冲突。
启航点是罢了更高效的拓扑和拥塞措施，该公司但愿将无防碍RDMA域扩大10倍。
除此以外，百度盘算将跨地域的RDMA网罗鸿沟扩大至方圆30km内。
王雁鹏称，现阶段百度的万卡集群平均4个小时会中断1次，如果彭胀到10万卡集群，可能20分钟掌握就会出现一次中断。现阶段，其模子比拟踏实的规复时候介于10到20分钟之间，畴昔勤勉于达到分钟级别。