← 返回系列列表

M6 2 个模型

阿里巴巴 · 2021.05 - 2021.11

发布时间线

2021.11.09
M6-10T
1. 10万亿参数规模,512张GPU训练10天 2. 自研Whale分布式框架,支持粒度可控的CP ...
2021.05.15
M6
采用MoE架构及改良的expert prototyping技术解决负载不均衡问题、仅用480张NVI ...
发布日期 公司 模型名称 类型 特性
2021-11-09 阿里巴巴 M6-10T 主流 1. 10万亿参数规模,512张GPU训练10天 2. 自研Whale分布式框架,支持粒度可控的CPU offload 3. 采用共享解除(Pseudo-to-Real)训练策略,加速收敛 4. 结合StyleGAN实现少样本图像自动生成,生成接近实物照片效果
2021-05-15 阿里巴巴 M6 主流 采用MoE架构及改良的expert prototyping技术解决负载不均衡问题、仅用480张NVIDIA V100 GPU完成训练,实现低碳高效、生成图片分辨率提升至1024×1024,支持高清细节、具备跨模态搜索能力,支持以图搜图及语义匹配、已投入犀牛智造、支付宝、淘宝等商业场景