阿里达摩院发布全球首个“低碳版”巨模型 效率提示近11倍
6月25日,阿里巴巴达摩院发布“低碳版”巨模型M6,在全球范围内首次大幅降低了万亿参数超大模型训练能耗,更加符合业界对低碳、高效训练AI大模型的迫切需求。通过一系列突破性的技术创新,达摩院团队仅使用480卡GPU,即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6,与英伟达、谷歌等海外公司实现万亿参数规模相比,能耗降低超八成、效率提升近11倍。
大模型将成下一代人工智能基础设施,在AI圈内已成共识。与生物体神经元越多往往越聪明类似,参数规模越大的AI模型,往往拥有更高的智慧上限,训练大模型或将让人类在探索通用人工智能上更进一步。然而,大模型算力成本也相当高昂,很大程度阻碍了学界、工业界对大模型潜力的深入研究。
针对这一难题,达摩院联合阿里云机器学习PAI平台、EFLOPS计算集群等团队改进了MOE(Mixture-of-Experts)框架,创造性地通过专家并行策略,大大扩增了单个模型的承载容量。同时,通过加速线性代数、混合精度训练、半精度通信等优化技术,达摩院团队大幅提升了万亿模型训练速度,且在效果接近无损的前提下有效降低了所需计算资源。
相比此前英伟达使用3072 A100 GPU实现万亿参数、谷歌使用2048 TPU实现1.6万亿参数大模型,此次达摩院仅使用480卡V100 32G GPU就实现了万亿模型M6,节省算力资源超80%,且训练效率提升近11倍。
同时,达摩院此次发布的M6巨模型,成为国内首个实现商业化落地的多模态大模型。M6拥有超越传统AI的认知和创造能力,擅长绘画、写作、问答,在电商、制造业、文学艺术等诸多领域拥有广泛应用前景。
据了解,经过一段时间的试用,M6将作为AI助理设计师正式上岗阿里新制造平台犀牛智造,通过结合潮流趋势进行快速设计、试穿效果模拟,有望大幅缩短快时尚新款服饰设计周期。M6还已应用于支付宝、淘宝等平台,参与跨模态搜索、文案撰写、图片设计等工作。
达摩院资深算法专家杨红霞表示,“接下来,M6团队将继续把低碳AI做到极致,推进应用进一步落地,并探索对通用大模型的理论研究。”
今年以来,阿里在超大规模预训练模型领域屡出成果。除发布多模态巨模型M6外,阿里巴巴达摩院近期还发布了中文社区领先的语言大模型PLUG,实现了在AI大模型底层技术及应用上的深入布局。
好的文章,需要您的鼓励
7
- 最新资讯
- 最新问答
-
携手德国零售巨头丨史陶比尔HE机器人重塑香肠切片生产
关键字: 史陶比尔 2024-07-04 -
红点背后的黑科技: Grace 7 Pro的工业设计革命
关键字: 天机 2024-06-28 -
跨维智能 3D视觉引导无序抓取套件 | 零代码,零编程,5分钟配置,最快2小时投产
关键字: 跨维 2024-06-28 -
【新品发布】大模型加持,5分钟配置!跨维智能重磅推出工业物流纯视觉成像感知套件
关键字: 跨维 2024-06-27 -
E-Wireless:新一代无线示教套装亮相,精妙组合一套搞定!
关键字: 艾利特机器人 2024-06-26
-
工业机器人技术是干什么的?
标签: 工业机器人,技术 提问:小杰 2024-07-03 13:03:15 -
机器人焊接焊机报TC异常怎么解决
标签: 焊接机器人,焊机,TC异常 提问:TC 2024-06-28 16:05:01 -
机器人运动轨迹的控制方式有哪两种
标签: 机器人,运动轨迹,控制方式 提问:张默 2024-06-25 10:10:02 -
具身智能什么意思
标签: 具身智能,什么意思 提问:MESSE 2024-06-19 10:37:04 -
3D视觉无序抓取系统配置要点?
标签: 3D视觉,无序抓取,系统配置 提问:QUTE 2024-06-17 13:17:05
- 2019-10-16 11:29:13
- 2020-11-30 13:56:18
- 2020-07-29 13:39:32
- 2016-06-02 08:00:00
- 2019-08-22 14:22:17
- 2023-03-23 14:27:35
- 2024-07-04
- 2024-06-28
- 2024-06-28
- 2024-06-27
- 2024-06-26
- 2024-06-25
- 2024-06-25
- 2024-06-21
- 2024-06-21
- 2024-06-20