【論文紹介】大規模言語モデルにおけるニューロンの挙動について｜はまち
大規模言語モデルにおける人工ニューロンの挙動をテーマにした以下論文が面白かったので、ざっくり目についたキーワードを抜き出してみました。 理解不足など多分にあると思いますので、興味を持たれた方は、ぜひ原文をご確認ください。 概要LLMの内部構造を理解するため、パラメータの異なる125Mから66BまでのMeta社のOPTファミリーのモデル内部の人工ニューロンの挙動を分析した キーワード活性化しないニューロン（Dead Neurons）ネットワークの入力部付近の層では、多くの活性化しない「デッドニューロン」が存在しており、特に66B（660億）モデルでは、一部の層で70%以上のニューロンが活性化していない。 ネットワークの前半はデッドニューロンの割合が高く、後半はほとんどのニューロンが「活性化」している。 著者らは、この層間での疎さの違いは、初期層では「概念と対応するニューロン」の比率が後半の層
Takayuki Todo on Twitter: "ここ10年の脳に関する研究で明らかになったのは、脳神経細胞のシナプスというのは信号を伝達するたびにレセプターがリン酸化してゲインが落ちノイズが上がっていくのに対し、その劣化したレセプターを酵素によってリフレッシュする機能があり、それが睡眠中に行われるのだということ。"
ここ10年の脳に関する研究で明らかになったのは、脳神経細胞のシナプスというのは信号を伝達するたびにレセプターがリン酸化してゲインが落ちノイズが上がっていくのに対し、その劣化したレセプターを酵素によってリフレッシュする機能があり、それが睡眠中に行われるのだということ。
機械学習のアルゴリズムはドーパミン神経によって脳にも実装されていることが判明
決まった時間にブザーを鳴らし餌をやることでブザーが鳴るだけで唾液が出るようになったパブロフの犬のように、生物の脳や神経構造は長い間科学者の研究対象となっています。また、脳の仕組みを参考にしたニューラルネットワークなど、人工知能の開発に脳神経の研究が用いられることもあります。そんな中、世界最強の囲碁プログラム「AlphaGo」を開発したDeepMindが、機械学習のアルゴリズムがドーパミン神経によって脳にも備わっていることを発見しました。 A distributional code for value in dopamine-based reinforcement learning | Nature https://www.nature.com/articles/s41586-019-1924-6 Dopamine and temporal difference learning: A fr
東大生がロボットに仕事を奪われる日は来るのか (1/2)
【アスキークラウド2月号・特集連動ロングインタビュー】 知識を使って問題に答える「知識型」人工知能は現在どこまで進化し、どんなビジネスが作られようとしているのか。ロボットが知的労働者の仕事を奪うというのは本当か。人工知能研究の草分けである、慶応大学理工学部の山口高平教授に話を聞いた。 ──人工知能を使った「エキスパートシステム」はデータ不足で失敗したという話を伺いました。では、インターネットを通じてデータが蓄積される中で、知能型の人工知能はどのように進化しているんでしょう。 この20年間で人の知能をシステム化する技術が進んだ。とくに機械学習かな。正しいデータと誤ったデータを両方与えたら、どういう状況なら正しくなるかを勝手に大規模なデータから学習してくれる技術。その機械学習の技術が20年間でかなり進んで、これを基盤としながらいろんな人工知能技術が進み、統合された。 これを初めにやったのが、I
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
脳活動から「頭の中の光景」を動画にできるAIを開発！将来的に見た夢の映像化も!? - ナゾロジー
https://twitter.com/_daichikonno/status/1617721625092423680
