コーパスとして増えたのはC4だけで、few-shotでいろんなタスクをこなしたりというのはどうもできなさそう。perplexity下げすぎっぽくて割と短い文でEOSに到達してしまうように感じた

knokknok のブックマーク 2022/01/30 10:22

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

13億パラメーターを持つGPT言語モデルをrinnaが公開、日本語に特化

    GPTは、人間が使う会話や文章に出てくる単語の確率の組み合わせから次の単語の確率を計算する言語モデルだ。 例えば、「確率(吾輩はである)=確率(吾輩)×確率(は|吾輩)×確率(|吾輩,は)×確率(で|吾輩...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう