タグ

科学とdeeplearningに関するstealthinuのブックマーク (34)

  • Introduction - SITUATIONAL AWARENESS: The Decade Ahead

    Leopold Aschenbrenner, June 2024 You can see the future first in San Francisco. Over the past year, the talk of the town has shifted from $10 billion compute clusters to $100 billion clusters to trillion-dollar clusters. Every six months another zero is added to the boardroom plans. Behind the scenes, there’s a fierce scramble to secure every power contract still available for the rest of the deca

    Introduction - SITUATIONAL AWARENESS: The Decade Ahead
    stealthinu
    stealthinu 2024/06/05
    元OpenAIで超知性の安全性研究担当が書かれたこの数年後に起こるシンギュラリティまでの過程と懸念をまとめた文書。あと3年でAGIでその後2年以内に超知性と予想されてる。これは必読。
  • https://www.science.org/doi/10.1126/science.adi1374

    stealthinu
    stealthinu 2024/03/12
    人間の赤ちゃんのヘッドマウントカメラ記録からニューラルネットでも画像と名前の学習が出来たという研究結果。うおお…
  • ディープラーニングやLLMは、科学ではなく錬金術なのか〜最近AI業界をにぎわせる、ある議論について - BRIDGE(ブリッジ)テクノロジー&スタートアップ情報

    Image by Digital Artist via Pixabay 機械倫理学者 Thomas Krendl Gilbert 氏との対談で、彼が今の AI を科学ではなく「錬金術」の一形態と呼んだことは、今週の AI Beat で多くの人を驚かせた。 これを作っている人たちは、自分たちがやっていることは魔法のようだと考えています。そしてそれは、AGI(汎用型 AI)や超能力のような、ここ数ヶ月の間に公の言説に浸透した多くのメタファーやアイデアに根ざしています。(Gilbert 氏) ソーシャルメディア上では、この評価に対して賛否が分かれた。しかし、彼がVentureBeat の記事に言及しているかどうかは不明だが、Meta のチーフ AI サイエンティスト Yann LeCun 氏は、ソーシャルメディアに「理論に魔法のような性質があると考える一部の人々が、善意の工学や経験科学を錬金術と

    ディープラーニングやLLMは、科学ではなく錬金術なのか〜最近AI業界をにぎわせる、ある議論について - BRIDGE(ブリッジ)テクノロジー&スタートアップ情報
    stealthinu
    stealthinu 2023/10/01
    『LLMは今や公然と「基礎的なもの」として語られていますが、その基礎が何なのか、あるいは存在するのかどうかさえ、誰も明確に理解していません』そうなのよね。ある意味自然科学のシミュレータ
  • 錯視,幻視ー脳のなかの幽霊たち

    2020年9月10日公開 担当:畠山 公大先生 所属:脳神経内科学分野 はじめに 私たちが見ている世界は,私たちの目に映った世界そのものではない.私たちが見ていると感じるのは,視覚情報をもとに,脳が都合よく解釈し,作り出した虚構の世界だ1. この虚構性を実感できる具体例として,生理的錯視が挙げられる.図1は生理的錯視の一例である,Kanizsaの三角形と呼ばれる図形である2.真ん中に白い三角形が浮き出て見えるだろう.しかし,実際には三角形は存在しない.あるのは,切れ込みの入った3つの円と,一辺の欠けた3つの小さい三角形である.しかし,そう分かっていても白い三角形が見えてしまうのは,我々が体験している視覚世界が,脳の作り出した虚構であることの証左に他ならない.すなわち,偶然3つの円に入った切れ込みが,それぞれ他の円の切れ込みと一直線に並ぶよりも,3つの円の上に白い三角形が載っていると解釈した

    錯視,幻視ー脳のなかの幽霊たち
    stealthinu
    stealthinu 2023/09/15
    画像生成で起こることと同じようなことが起きてるため「幽霊」がほんとに見えることが起きると。DeepLearningの研究進むほど人間というか知能とは何かがわかってくるな。
  • プレ・シンギュラリティ、もう始まってない?|shi3z

    毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIAIを設計している部分

    プレ・シンギュラリティ、もう始まってない?|shi3z
    stealthinu
    stealthinu 2023/07/27
    清水さんの言ってることよりブコメの反応が気になった。意外とまだLLMからAGIとかシンギュラリティへつながること自体を否定してる人たち多いのねという。DL界隈の人はさすがにそこは認めるになった気がする。
  • 実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得

    オーストラリアとイギリスの研究チームが、ペトリ皿の中で培養した人間の脳細胞に卓球ゲームの「PONG」の1人用モードをプレイさせることに成功したと発表しました。 In vitro neurons learn and exhibit sentience when embodied in a simulated game-world | bioRxiv https://www.biorxiv.org/content/10.1101/2021.12.02.471005v2 A mass of human brain cells in a petri dish has been taught to play Pong https://medicalxpress.com/news/2021-12-mass-human-brain-cells-petri.html Mini-brains: Clumps

    実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得
    stealthinu
    stealthinu 2021/12/22
    これってつまり強化学習とは違う方法によって学習しててそっちのほうが効率がよいってことだよね。生物の好奇心的な仕組みがそもそもニューロンの学習理論から存在してるって可能性?
  • 3千CPUで数カ月かかる計算が0.1秒で完了。汎用原子レベルシミュレータ「Matlantis」 ~PFNとENEOSがクラウドサービスで提供開始

    3千CPUで数カ月かかる計算が0.1秒で完了。汎用原子レベルシミュレータ「Matlantis」 ~PFNとENEOSがクラウドサービスで提供開始
    stealthinu
    stealthinu 2021/07/07
    グラフネットワーク使ったディープニューラルネットで物性の特性予想するサービス。従来の10万~1000万倍と破壊的イノベーションとなっている。
  • Takayuki Todo on Twitter: "ここ10年の脳に関する研究で明らかになったのは、脳神経細胞のシナプスというのは信号を伝達するたびにレセプターがリン酸化してゲインが落ちノイズが上がっていくのに対し、その劣化したレセプターを酵素によってリフレッシュする機能があり、それが睡眠中に行われるのだということ。"

    ここ10年の脳に関する研究で明らかになったのは、脳神経細胞のシナプスというのは信号を伝達するたびにレセプターがリン酸化してゲインが落ちノイズが上がっていくのに対し、その劣化したレセプターを酵素によってリフレッシュする機能があり、それが睡眠中に行われるのだということ。

    Takayuki Todo on Twitter: "ここ10年の脳に関する研究で明らかになったのは、脳神経細胞のシナプスというのは信号を伝達するたびにレセプターがリン酸化してゲインが落ちノイズが上がっていくのに対し、その劣化したレセプターを酵素によってリフレッシュする機能があり、それが睡眠中に行われるのだということ。"
    stealthinu
    stealthinu 2020/11/16
    ほぼ常時発火するようなハブとして使われるところは刈り込みされやすいとかニューラルネットの学習則に適用してみたいものもいくつか。まあすでに試されてるんだろうけど。
  • 人間の脳のメカニズムを、わたしは知りたくてたまらない。──福島邦彦|WIRED.jp

    stealthinu
    stealthinu 2019/10/26
    CNNの父というかお爺さんである福島先生のインタビュー。ネオコグニトロンはパーセプトロンの発展で考案した流れではないんだな。『脳を制御している基本原理を見つけたい』やっぱこれだよね。
  • 人類の文化的躍進のきっかけは、7万年前に起きた「脳の突然変異」だった:研究結果

    stealthinu
    stealthinu 2019/09/02
    再帰構造もった言語を理解できるかが文化的躍進をもたらしたという説。現在のニューラルネットでもすでに可能となってる気がする。
  • 群衆の英知もしくは狂気

    アイザック・ニュートン卿は、自分が賢い 人間だと信じていた。微分積分学や重力理論 を発明(inventing)したのだから、金融投資(investing) ができるくらい賢いはずだよね?まぁとにかく、短く まとめると、1720年 に起こった南海泡沫事件という全世界 的な投機ブームで、彼は(現在の価値で)$4,600,000を失ったんだ。 後にニュートンはこう言った。 “私は天体の動きを計算することはできるが、 人々の狂気については計算できない” 彼のために勉強しよう これまで市場、制度、民主制全体は 何度もおかしくなってきた。— 群衆の狂気だ でも君が人間に失望していたときですら、 ハリケーンが起きれば、みんなで協力してきたし、 コミュニティは問題を解決してきた。人々はよりよい 世界のために戦ってきた。— 群衆の英知だ! しかしなぜ 群衆は狂気に向かったり 賢くなったり するのだろうか。

    群衆の英知もしくは狂気
    stealthinu
    stealthinu 2018/08/14
    カルトの手法が説明出来るというブ米指摘がよい。ニューラルネットワークでニューロンの接続数についても多すぎるより適切な接続数があるのだろうか。
  • 「記憶を移植」 米研究者らがアメフラシの遺伝子で成功 - BBCニュース

    記憶の移植は長らく、典型的なSF(サイエンス・フィクション)のテーマだったが、最近の研究によってそれが現実味を帯びつつある。 米大学の研究者らはこのほど、海に住む軟体動物のジャンボアメフラシの個体から別の個体に、遺伝子のRNA(リボ核酸)を使い、記憶を移植することに成功した。 研究者らはまず、ジャンボアメフラシに刺激に対する防御反応を起こす訓練を行った。その個体から取り出したRNAを訓練を受けていない別の個体に移植すると、刺激に対して訓練された個体と同様の反応を示したという。

    「記憶を移植」 米研究者らがアメフラシの遺伝子で成功 - BBCニュース
    stealthinu
    stealthinu 2018/05/16
    RNAの移植で「記憶」のようなものが移植されたってことは、元々生体反応として持ってる反応が発現しやすいようになったって考えればいいのかな。だからいわゆる「記憶」とは違うのだろう。
  • 真っすぐなのに斜めに見える“不思議な文字列” その仕組みとは?

    実はこの文字列、真っすぐ平行に並んでいます。傾いて見えるのは目の錯覚、すなわち錯視です。信じられないという方は、定規や鉛筆など真っすぐなものを文字列に当ててみると、水平であることが確認できると思います。今回はこの傾いて見える文字列の錯視の謎に迫ります。 日発のクールな錯視 これまで錯視図形は研究者やデザイナーなど、特定の人たちにより見いだされ、作られることがほとんどでした。しかし、傾いて見える文字列の錯視は、少し変わった来歴を持っています。 事の発端は2005年頃、日のネット掲示板などに傾いて見える文字列が次々に投稿されたことがきっかけでした。どなたが最初に始めたのか、筆者はその答えにたどり着けませんでしたが、当時は多数の傾いて見える文字列が日のネット掲示板やブログを賑わせていました。 通常、錯視は何かある特別な図形によって発生します。それに対し、傾いて見える文字列の錯視は、特定の図

    真っすぐなのに斜めに見える“不思議な文字列” その仕組みとは?
    stealthinu
    stealthinu 2017/10/12
    この神経細胞の数理モデルってたぶんCNNだよね。視覚処理がCNNである仮定して導いたものと実際の結果が合致するの http://www.fbs.osaka-u.ac.jp/jpn/events/achievement/kato-ohzawa-20160607/ も同様ですごい。少なくとも視覚はCNNに近いと。
  • How a New Father's Brain Changes

    The birth of a child leaves its mark on the brain. Most investigations of these changes have focused on mothers, but scientists have recently begun looking more closely at fathers. Neural circuits that support parental behaviors appear more robust in moms a few weeks after the baby is born, whereas in dads the growth can take several months. A study in Social Neuroscience analyzed 16 dads several

    How a New Father's Brain Changes
    stealthinu
    stealthinu 2017/06/21
    子どもができると身軽じゃなくなるからどうしても保守的になるよね、と思ってたが、脳自体も子どもが出来たことで変質するのか… やっぱ結局はDNAの乗り物にすぎないのだなあ。
  • エピソード - 視点・論点

    「建築界のノーベル賞」と言われるプリツカー賞を受賞した山さん。世界中で調査した住宅を紹介しつつ、コミュニティー作りを意識した建築を行ってきた思いを語ります。

    エピソード - 視点・論点
    stealthinu
    stealthinu 2017/06/21
    『人工知能の黒魔術』『結局、知能というのは隠された方程式があって、それを解き明かすのではなく、どこまで行ってもモヤモヤしたよくわからないものであることを受け入れるしかない』すごく的確な表現だと思う。
  • 海馬から大脳皮質への記憶の転送の新しい仕組みの発見 | 理化学研究所

    海馬から大脳皮質への記憶の転送の新しい仕組みの発見 -記憶痕跡(エングラム)がサイレントからアクティブな状態またはその逆に移行することが重要- 要旨 理化学研究所(理研)脳科学総合研究センター理研-MIT神経回路遺伝学研究センターの利根川進センター長と北村貴司研究員、小川幸恵研究員、ディラージ・ロイ大学院生らの研究チーム※は、日常の出来事の記憶(エピソード記憶)が、マウスの脳の中で時間経過とともに、どのようにして海馬から大脳新皮質へ転送され、固定化されるのかに関する神経回路メカニズムを発見しました。 海馬は、エピソード記憶の形成や想起に重要な脳領域です。先行研究により、覚えた記憶は、時間経過とともに、海馬から大脳皮質に徐々に転送され、最終的には大脳皮質に貯蔵されるのではないかとのアイデアがありますが、大脳皮質への記憶の転送に関して、神経回路メカニズムの詳細はほとんど分かっていませんでした。

    stealthinu
    stealthinu 2017/04/07
    すげえ。海馬から刺激を受けてエングラム細胞が樹状突起増やすことで記憶が定着してるとのこと。その後2週間でまた活動しなくなってくるらしい。エピソード記憶についてだが「おばあさん細胞」も同様と考えて良い?
  • 霊長類の脳が大きいのはヘビのせい? – 「ヘビ検出理論」の真偽に迫る

    霊長類の大きな脳 ほ乳類は、ほかの脊椎動物よりも身体のわりに大きな脳を持っています。なかでも多くの霊長類は、ほかのほ乳類よりも大きな脳を持っています。霊長類が脳(とくに視覚系)を発達させた要因として、かつては果実への移行が有力視されていましたが、20年ほど前からは、霊長類の複雑な社会構造で必要なコミュニケーションのためとの説が唱えられていました。しかし近年では、毒ヘビのいない地域での霊長類の視覚が劣ることや、ヘビを見たことのないサルでもヘビをすばやく見つけることなどから、霊長類はヘビを検出するために脳(とくに視覚システム)を大きくしたとの「ヘビ検出理論」(Isbell, 2009)が提唱されています。にわかには信じられない学説ですが、いまでは多くの実験結果によって支持されています。 ヒトやサルはヘビをすばやく見つける ヒトの祖先の霊長類は、およそ6500万年前ころから樹上で放散適応を始め

    霊長類の脳が大きいのはヘビのせい? – 「ヘビ検出理論」の真偽に迫る
    stealthinu
    stealthinu 2016/12/07
    へえええ。人間がヘビ嫌いなのはもう本能に刷り込まれれてるのか。聖書でヘビが悪役?として出てくるのも根拠があることなのだな。しかしヘビ検出回路はどうやってニューロンに込みこんであるんだろう…?
  • 「自由意志」は存在する(ただし、ほんの0.2秒間だけ):研究結果

    stealthinu
    stealthinu 2016/06/14
    これ「自由意志」の存在を確認出来る実験になってるの?逆に単に反射的にすばやい反応が出来るパスを学習で作れるってのがわかるだけなんじゃないのかな?よくわからん。
  • 脳を刺激しマウスの記憶力高めることに成功 | NHKニュース

    睡眠不足は記憶の定着を妨げることが知られていますが、脳の特定の場所を刺激することで、睡眠不足のマウスの記憶力を高めることに成功したと理化学研究所などのグループが発表しました。 睡眠が不足すると起きている間に体験した記憶の定着が妨げられ、物事を覚えにくくなることが知られていますが、詳しいメカニズムは分かっていませんでした。 研究グループでは、まず、マウスを滑りやすい床の上で10分間自由に行動させ、床の感触を学習させました。そのあと別の場所に移し、睡眠不足の状態のまま、脳の大脳新皮質にある特定の場所を光を使って刺激したということです。 すると、脳を刺激しなかったマウスは床の感触を記憶していませんでしたが、刺激したマウスは床の感触を記憶していることがマウスの行動から確認できたということです。さらに、脳の特定の場所を刺激したマウスは、睡眠をしっかりと取ったマウスと比べても、記憶を長く維持できている

    脳を刺激しマウスの記憶力高めることに成功 | NHKニュース
    stealthinu
    stealthinu 2016/05/27
    薬を使わずに脳ドーピングが出来るようになるのだろうか。
  • ある日海馬が故障した - 一過性全健忘(TGA)体験記 - ibaibabaibaiのサイエンスブログ

    だいぶ固い話題が続いたので,気分を変えて.3年ちょっと前に経験した奇妙な出来事についての報告を書くことにする.簡単にいうと,ある日突然海馬が故障して記憶にまったく書きこみができなくなり,数時間で治った.という話である.途中から科学者魂というか,何としてでも画像を手に入れてやる,みたいなモードになるのだが,さてその結果はどうなったか.症状のほうはそのまま回復して,その後再発もしていないので,心配せずに読んでいただきたい.あと,文中にも出てくるが,筆者は医療関係者でも脳の専門家でもないので念のため. 「これで5回目だと思う」 その日は10月の土曜日で,午後は自宅で科研費の書類を作っていた.それにも飽きて,いつものようにバスで最寄り駅まで行き,ジムに入った.着替えて,軽い筋トレをはじめたが,途中からなにか考えがうまく回らなくなって,ジムの中でうろうろしていたような気がする. そのあとしばらくたっ

    stealthinu
    stealthinu 2016/01/21
    すごく興味深い話だった。海馬が中期長期記憶を行ってることを体感できるわけかあ。すごくなってみたい… あとスキー場で起きてる例が多いのがとてもおもしろい。頭が冷えて血の流れが悪くなるとか関係あるのかね。