手軽に合成される大規模言語モデル

手軽に合成される大規模言語モデル 2024.01.18 Updated by Ryo Shimizu on January 18, 2024, 13:42 pm JST 去年は大規模言語モデル(LLM;Large Language Model)の年と言っても過言ではなかった。 各社が独自の大規模言語モデルの構築に躍起になり、数千万円から数億円を投じたのは記憶に新しい。 大規模言語モデルの性能指標の一つとなるのが、「規模」だ。 この「規模」は、大規模言語モデルのパラメータ数で測られる。パラメータ数が多いほど記憶容量が大きい、つまり「脳が大きい」ということになる。 脳がどのくらい大きいのが最もいいのかはまだわかっていないが、参考までに、GPT-3は1750億パラメータの「脳」であり、単位が大きすぎるので通常は10億を意味する「B(illion)」をつけて175Bと呼んだりする。 Meta社が(

[ogawa0071]

基本同意だがAWSとかNVIDIAとかCiscoとか物理層に近づくと必勝とも言えない“コンピュータの世界においては、オープンソースコミュニティがプロプラ(クローズドシステム)に勝利するということが幾たびも繰り返されている