促记网 > 社会 > 正文

​10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

2024-04-06 04:40 来源:促记网 点击:

10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

" 只需 "10 万美元,训练 Llama-2 级别的大模型。

尺寸更小但性能不减的MoE模型来了:

它叫JetMoE,来自 MIT、普林斯顿等研究机构。

性能妥妥超过同等规模的 Llama-2。

贾扬清转发

要知道,后者可是数十亿美元级别的投入成本。

JetMoE 发布即完全开源,且学术界友好:仅使用公开数据集和开源代码,用消费级 GPU就能进行微调。

不得说,大模型的打造成本,真的比人们想的要便宜更多了。

Ps. Stable Diffusion 前老板 Emad 也点了赞:

10 万美刀实现 Llama-2 性能

JetMoE 启发于 ModuleFormer 的稀疏激活架构。

(ModuleFormer,一种基于稀疏专家混合 ( SMoE ) 的模块化架构,可提高大模型效率和灵活性,去年 6 月提出)

它的注意力层中仍然使用了 MoE:

80 亿参数的 JetMoE 一共有 24 个区块,每块包含 2 个 MoE 层,分别是注意力头混合  ( MoA )  和 MLP 专家混合  ( MoE)。

每个 MoA 和 MoE 层又有 8 个专家,每次输入 token 激活 2 个。

JetMoE-8B 使用公开数据集中的1.25T token进行训练,学习率 5.0 x 10-4,全局 batch size 为 4M token。

具体训练方案遵循 MiniCPM(来自面壁智能,2B 模型就能赶超 Mistral-7B)的思路,共包含两阶段

第一阶段使用线性预热的恒定学习率,用来自大规模开源预训练数据集的 1 万亿个 token 进行训练,这些数据集包括 RefinedWeb、Pile、Github data 等等。

第二阶段则使用指数学习率衰减,用 2500 亿个 token 训练来自第一阶段数据集和超高质量开源数据集的 token。

最终,团队使用96 × H100的 GPU 集群,花费 2 周时间、约 8 万美元搞定 JetMoE-8B。

更多技术细节将在不久后发布的技术报告上揭露。

而在推理过程中,由于 JetMoE-8B 仅具有22 亿个激活参数,因此计算成本大大降低——

同时,它还收获了不错的性能表现。

如下图所示:

JetMoE-8B 在 8 个评测基准上获得了 5 个 sota(包括大模型竞技场 Open LLM Leaderboard),超过 LLaMA-13B、LLaMA2-7B 和 DeepseekMoE-16B。

在 MT-Bench 基准上得分 6.681,也超过了 130 亿参数的 LLaMA2、Vicuna 等模型。

作者介绍

JetMoE 一共 4 位作者,分别是:

Yikang Shen

MIT-IBM Watson Lab 研究员,研究方向 NLP。

本硕毕业于北航,博士经历于 Yoshua Bengio 创办的 Mila 研究机构。

国振  ( Gavin Guo )

MIT 博士在读, 研究方向为 3D 成像的数据高效机器学习。

UC 伯克利本科毕业,去年夏天作为学生研究员加入 MIT-IBM Watson Lab,导师为 Yikang Shen 等人。

蔡天乐

普林斯顿博士在读生,本科毕业于北大应用数学和计算机科学,目前也是 Together.ai 的兼职研究员,与 Tri Dao 合作。

Zengyi Qin

MIT 博士在读,同时在创业,MyShell的 AI 研发主管。

这家公司刚刚融资了 1100 万美元,投资者包括 Transformer 的作者。

传送门:

https://github.com/myshell-ai/JetMoE

参考链接:

https://twitter.com/jiayq/status/1775935845205463292

—    —

【 火热报名中】中国 AIGC 产业峰会

定档 4 月 17 日

峰会已经邀请到数位代表技术、产品、投资、用户等领域嘉宾,共论生成式 AI 产业最新变革趋势。

最新确认嘉宾包括:商汤科技杨帆轻松集团高玉石印象笔记唐毅蚂蚁集团李建国等,。

峰会将全程线上下同步直播,欢迎预约直播 ⬇️

点这里关注我,记得标星噢

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~