タグ

学習とlanguageに関するtyosuke2011のブックマーク (2)

  • GPT-3で遊んでみた - Qiita

    昨日の@hcpmiyukiさんの記事では、Supabaseという今あついBaaSについて書いてくれました! MYJLab Advent Calendar 2021の3日目はGPT-3に関してです 論文を要約してAPIで遊びます GPT-3とは イーロン・マスク氏が共同会長を務める非営利のAI研究企業であるOpenAIが発表した、汎用言語モデルの3世代目です ネット上のテキストの次の単語を予測するためだけに訓練されたTransformerベースの自己回帰言語モデルで、なんと1750億個のパラメータで動作するそうです あまりの精度の高さに以前話題沸騰でした This is mind blowing. With GPT-3, I built a layout generator where you just describe any layout you want, and it generat

    GPT-3で遊んでみた - Qiita
  • GPT-2 - Wikipedia

    Generative Pre-trained Transformer 2(GPT-2) は、2019年2月にOpenAIによって開発されたオープンソースの人工知能ソフトウェアである[1][2][3][4]。GPT-2は、テキストを翻訳し、質問に答え、文章の要約を行い[5]、時には人間と見分けがつかないようなテキスト出力を生成するが[6]、長い文章を生成すると繰り返したり意味不明な表現になることもある[7]。GPT-2は、多目的学習器であり、特定のタスク(仕事)を行うための特別な訓練を受けてはおらず、これらのタスクを行う能力は、任意の順序で次の項目を正確に合成する一般的な能力の延長線上にある[8][5]。GPT-2は、OpenAIの2018年版GPTモデルの「スケールアップ版」として構築され[9]、パラメータ数と訓練用データセットがともに10倍に増加した[4]。 GPTアーキテクチャは、ディ

    GPT-2 - Wikipedia
  • 1