ニューラルネットワークの中身を分割してAIの動作を分析・制御する試みが成功、ニューロン単位ではなく「特徴」単位にまとめるのがポイント

GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \ Decomposing Language Models Into Understandable Components https://www.anthropic.com/index/decomposing-language-models-into-understandable-components 大規模言語モデルは多数のニューロンが接続されたニューラルネットワークで、ルールに基づいてプログラミングされるのではなく、多数のデータを元にトレーニングを行うことでタス

[t-tanaka]

すごいよなー。作ったプログラムがなぜ動くのか分からず，その動作の解析自体が研究対象になるとか，完全にシンギュラリティに片足突っ込んでいるなあ。

[anycast]

この記事をおすすめしました

[stealthinu]

おばあさん細胞はLLMの知見からも否定されグループ単位での特徴抽出されてるという研究結果。前回ニューラルネットワークブームで研究されてたことの答え合わせが色んなことで起きてる感。

[taguch1]

おもろ。

[nemoba]

性能というか説明責任とかの方の分野やね。興味深いのは"多義的"にふるまうことかな。スペシャリスト is ジェネラリストの可能性があるってことやね。

[fujiriko59]

脳科学みたいになってきた

[Cru]

特徴か。機械学習の用語だね。DNN解析するのに機械学習使うのは良いかもしれんね。そのうちDNN解析にDNN使うのが有用ということになってきそう。アジモフの描いたロボット心理学者は現実世界ではロボットなのかもしらん

[tattyu]

これ、一気に性能アップに繋がりそうだな。

[Nihonjin]

そのうち、暴走したAIにロボトミー手術をするようになるのだろう。

[cvtbgspuda]

人間の脳だって、ある事象に強く反応する部分があるのはわかってるけど強く反応する部分だけまとめるってことは、特化型にしたいってこと？弱く反応してる部分が全く意味ないわけじゃないと思うんだけどな。

[blueboy]

「個々のニューロンよりも優れた分析単位」→　パーセプトロンの構造図からすれば、最下層にある個々のニューロンよりも一段上にある層（特徴抽出の処理後の層）の入力に関連性がある、ということか。　https://x.gd/3QzIZ

[toyoshi]

ピラミッドを掘り返して想像するような考古学に相当する言葉が必要になりそう

[blackphone9]

理屈がわからないのに応用は(それなりに)できてるっての､最近どこかで見たなと思ったら葬送のフリーレンの魔法の話だった｡

[mur2]

メルブラのシオンの分割思考感

[hinonono]

分析も制御も出来てない、技術として未熟なのを凄いこと（シンギュラリティ？）みたいに言うの、こうして可能になってきたら凄くなくなってくってこと？シンギュラリティ教徒の言うことはよく分からん

[rissack]

脳の研究みたい。

[konekonekoneko]

特徴に反応するニューロンを探し出す分析制御か、そのニューロンネットワークをループ観察するのもAIにまかせだしたら自我っぽいことが出来そう。