13億パラメータ日本語GPT-2を使ってみる

2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ... ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。 そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。 ということで今回は、この日本語GPT-2を触ってみたいと思います。 なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。 GPT ... 『【論文解説】OpenAI 「GPT」を理解する』 一番仕組みを詳しく解説しています。GPT-2 ... 『【論文解説】OpenAI 「G

[misshiki]

1. GPT-1bの概要、2. gpt-1bの使い方、3. ファインチューニング

[mysql8]

日本語GPT-3はよ

[zu2]

いかがでしたかブログが量産されそう

[prozorec]

GPT-1b/GPT2-1bが混じっていてわかりにくい

[yarumato]

“GPT-2は巨大な文章データを使って事前学習することで、いちいち学習しなくて済む汎用言語モデル。rinna社。GPUを使わないと文章生成に結構時間がかかります。目的に合った文章を生成するため、入力文章を工夫。python”