ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開

OpenAIが提供する「ChatGPT」などのチャットAIは要約やコーディング、翻訳などを人間の専門家以上の精度で実行できると報告されています。しかしチャットAIの訓練に必要な人間のフィードバックに基づいた強化学習(RLHF)を実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難でした。しかしMicrosoftが発表した「DeepSpeed-Chat」では誰でもChatGPTのようなモデルを作成可能です。 DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese これまでChatGPTのよ

[misshiki]

“RLHFを実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難でしたが、Microsoftが発表した「DeepSpeed-Chat」では誰でもChatGPTのようなモデルを作成可能です。”

[shunkeen]

“DeepSpeed-ChatによってGPT-4の再現が簡単になるというわけではありませんが、再現に向けたいくつかの大きなハードルは間違いなく越えることが可能です”／これがAmazon Bedrock で使えるようになったらすごそう。