当前位置: 首页 > 热点

环球热点!毫末智行联手火山引擎打造智算中心,千亿参数训练轻松完成

发布时间:2023-01-14 00:56:01 来源:雷科技


(资料图片)

近日,毫末智行宣布智算中心“雪湖·绿洲”(MANA OASIS)正式成立。MANA OASIS由毫末智行携手火山引擎打造,位于山西大同,用于毫末智行的自动驾驶大模型训练。基于火山引擎的端到端的智算云解决方案,MANA OASIS算力达670PFLOPS(即每秒浮点运算达到67亿亿次),助力毫末智行的模型训练效率提升100倍。

毫末智行CEO顾维灏详细介绍了毫末智行在智算中心做的模型优化。据介绍,在算力优化方面,毫末与火山引擎合作,部署了Lego高性能算子库、ByteCCL通信优化能力、以及大模型训练框架;在训练效率方面,基于Sparse MoE,通过跨机共享,轻松完成千亿参数大模型训练,且百万个Clips(毫末视频最小标注单位)训练成本只需百卡周级别。

毫末智行董事长张凯表示:“超算中心会成为自动驾驶企业的入门配置”。

他说,随着城市辅助驾驶系统的推进,数据量会呈现爆发式的发展,云计算的效率对毫末而言越来越重要。随着城市辅助驾驶系统的发展,真正进入大数据时代,处理成本也变得越来越高,只有自建智算中心,才能降低数据的处理成本。现在整个大模型的数据量和模型本身的参数量非常大,差不多能达到千亿级别,这会导致如果用常规的训练方式成本非常昂贵。

同时,人工智能的高速发展,导致新的算法层出不穷,尽快引入新的技术和新的模型的同时,需要更好的并行计算框架,提高训练效率,减少硬件的浪费。

而在新的智算中心MANA OASIS中,为了支持多模型训练,毫末最终选择了与火山引擎合作,在高性能算子库方面,部署了超过500多个高性能算子,推理加速效果平均可达到400%,从而可以轻松应对千亿级别参数的训练,极大提升自动驾驶技术的迭代发展效率。

火山引擎总裁谭待也在现场表示,毫末智行在智算中心的合作已经取得了巨大的进展。他说,火山引擎在数据驱动方面具有领先优势。基于车企大算力场景,以及当前车企在车外算力上遇到的难题,火山引擎专门为车企提供了端到端的智算云解决方案。

依赖火山引擎的基础设施,火山引擎智算云解决方案构建了统一的异构算力集群,把算力资源池化,实现GPU、CPU等资源的统一调度、灵活分配、弹性伸缩等云化能力,为上层应用提供统一的算力资源。

另外,火山引擎还专门提供算力加速引擎,为车企在算法开发、训练和推理场景下提供高效的支持,化繁为简,帮助企业建好AI平台、管好AI资源、用好AI服务,能够满足汽车和自动驾驶行业客户对一站式AI平台的诉求。

他表示,未来,火山引擎将充分发挥在云服务、AI、数据等技术上的优势,助力毫末智行业务持续增长,共同推动自动驾驶行业智能训练平台跨越式发展,加速自动驾驶技术敏捷迭代和商业化落地。

Copyright   2015-2022 太平洋质量网 版权所有  备案号:豫ICP备2022016495号-17   联系邮箱:93 96 74 66 9@qq.com