タグ

ブックマーク / note.com/immortal_med (1)

  • LLMの限界が近づく中、どう生きるか?|イモータリテ医

    GPTの進化は、GPT-6で頭打ち説GPT-4の登場から1年が経ちましたが、次世代モデルのGPT-5はまだ姿を見せていません。その理由は、学習コストの高さにあります。膨大な電力消費とサーバー代金が、新しいモデルの学習を困難にしているのです。 仮にGPT-5の学習が実現できたとしても、さらなる進化形であるGPT-6の登場はさらに厳しくなります。そうなると、GPT-7はより難しくなり、下手したら学習コスト的に、GPT-6が頭打ちの可能性があります。 つまり、現在のTransformerベースのLLM技術の限界が見え始めているのです。 その限界の時期は、GPT-4が2023年、GPT-5が2024年中頃、GPT-6が2026年って感じの開発だとすると、2026年あたりでしょうか? ベンチマークテストの結果を見ると、GPT-3からGPT-4への進化がそのままGPT-5やGPT-6に適用されると、数

    LLMの限界が近づく中、どう生きるか?|イモータリテ医
    dalmacija
    dalmacija 2024/04/25
    あのですね、LLMがデジタル技術の全てではないんです。多次元ベクトルまで抽象度を下げてもLLMにとどまりませんよね、明らかに。以上。
  • 1