エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
大規模言語モデルが、情報の検索に驚くほど単純なメカニズムを使っている事が判明 | TEXAL
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
大規模言語モデルが、情報の検索に驚くほど単純なメカニズムを使っている事が判明 | TEXAL
マサチューセッツ工科大学(MIT)の研究者らは、大規模言語モデル(LLM)が、保存された知識を検索する... マサチューセッツ工科大学(MIT)の研究者らは、大規模言語モデル(LLM)が、保存された知識を検索するためにしばしば単純な一次関数を使用することを発見した。この発見は、LLMに見られる時々誤ったり、意味不明な答えを与える傾向を減少させる事に繋がる可能性がある。 一次関数とは、2つの変数と指数を持たない方程式である。2つの変数の間の直接的な関係を記述する。 特定の事実を検索するための、このような比較的単純な一次関数を特定することで、科学者たちは言語モデルの特定のトピックに関する知識をテストし、その知識がモデルのどこに保存されているかを突き止めることができた。研究者たちはまた、モデルが同じような種類の事実を検索するために、同じ関数を使用していることも発見した。 「これらのモデルは本当に複雑で、多くのデータに基づいて訓練された非線形関数であり、理解するのが非常に難しいですが、時々本当にシンプルな