大規模言語モデル(LLM)について知っておくべき8つのこと｜Narusasu

2022年秋のChatGPT以来、 「ゼウス来た！」※小説スカーレットウィザード と、日々のLLM関連のニュースを見てるとSF好きとしては思う事がとても沢山ありました。 当然世の中には同じ事を考える人が居るようで、2023年4月の論文に自分が感じた事がある程度表現されていたため紹介します。 最低限ニューラルネットワークについては知っている読者を想定しています。まずは触りですが、深堀りはちょっとずつ進めていきます。 大規模言語モデル(LLM)について知っておくべき8つのこと1. LLM は、目標を絞ったイノベーションがなくても、投資の増加に伴って予想通り能力が向上します。何も考えずに「資金をつぎ込むだけ」で賢くなる。 何らかのブレークスルーが無くても、単純に大規模にすれば、予想通りに賢くなっていく状況です。これは、2020年から経験則として知られていますが、GPT-3以降でも同様です。予測可