微软加入完整RLHF流程的系统框架Deep Speed Chat

4月13日，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。

也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！

一键解锁千亿级ChatGPT，轻松省钱15倍

众所周知，由于OpenAI太不Open，开源社区为了让更多人能用上类ChatGPT模型，相继推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等模型。

但由于缺乏一个支持端到端的RLHF规模化系统，目前类ChatGPT模型的训练仍然十分困难。而DeepSpeed Chat的出现，正好补全了这个「bug」。

更亮的是，DeepSpeed Chat把成本大大地打了下来。

此前，昂贵的多GPU设置超出了许多研究者的能力范围，并且，即使能访问多GPU集群，现有的 *** 也无力负担数千亿参数ChatGPT模型的训练。

现在，只要花1620美元，就可以通过混合引擎DeepSpeed-HE，在2.1天内训练一个OPT-66B模型。

而如果使用多节点、多GPU系统，DeepSpeed-HE可以花320美元，在1.25小时内训练一个OPT-13B模型，花5120美元，就能在不到一天的时间内训练一个OPT-175B模型。

前Meta AI专家Elvis激动转发，称这是一件大事，并表示好奇DeepSpeed Chat和ColossalChat相比起来如何。