13億パラメーターを持つGPT言語モデルをrinnaが公開、日本語に特化

GPTは、人間が使う会話や文章に出てくる単語の確率の組み合わせから次の単語の確率を計算する言語モデルだ。 例えば、「確率（吾輩は猫である）＝確率（吾輩）×確率（は|吾輩）×確率（猫|吾輩,は）×確率（で|吾輩,は,猫）×確率（ある|吾輩,は,猫,で）」のような方法で計算する。この性質を用いて、「吾輩は」という単語を入力したとき、次の単語として確率が高い「猫」を予測できる。 性能は14パープレキシティー 関連記事 2021年の「AI／機械学習」はこうなる！ 5大予測 2020年は、自然言語処理（NLP）のTransformer技術に基づくBERT／GPT-3や、画像生成のディープフェイクが大注目となる一方で、倫理に関する問題がさまざまな方面でくすぶり続けた。2021年の「AI／機械学習」界わいはどう変わっていくのか？ 幾つかの情報源を参考に、5個の予測を行う。 Microsoft、自然言語処

[brightsoda]

夜に駆けるで死ぬやつ

[knok]

コーパスとして増えたのはC4だけで、few-shotでいろんなタスクをこなしたりというのはどうもできなさそう。perplexity下げすぎっぽくて割と短い文でEOSに到達してしまうように感じた

[endo_5501]

おお

[pascal256]

なにかに使ってみたいが…

[mysql8]

14パープレキシティー