ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される
さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して
純粋数学のアカデミア（研究職）から離れるにあたっての遺書 ― 数学が辛い人へ
2024-03-29: 初稿 注意: 「遺書」とありますが、別に自殺はしないのでご安心ください。 はじめに 私は代数学専攻のポスドク（学振PD3年目30歳）ですが、2024年3月末でアカデミアを離れて、4月から一般企業へ就職します。 このようにアカデミア界隈のポスドクやら研究者やらが、研究職のアカデミアを離れて民間企業へ就職することを 脱アカ・acadexit と呼ぶことがあります。そういう人はよく記事を書くようなので、私も書いてみることとします。 そういう記事でありがちな就活体験談や就活ノウハウ等というよりは、かなりシリアスで鬱な精神面についての重い話になりますが、私の経験を共有して、同じような悩みを持つ人に少しでも助けになれば、またアカデミアの人たちにも「こういう人もいるんだ」という参考になればと思い、書いています。正直過去の自分へ向けて・また現在の自分の心境の整理という意味の強い記事
浮動小数点型の算術とお近づきになりたい人向けの記事 - えびちゃんの日記
お近づきになりたい人向けシリーズです。 いろいろなトピックを詰め込みましたが、「これら全部を知らないといけない」のようなつもりではなく、いろいろなことを知るきっかけになったらいいなという気持ちなので、あまり身構えずにちょっとずつ読んでもらえたらうれしい気がします。 まえがき 予備知識 規格 用語 精度という語について 記法 表現について 有限値の表現について エンコードについて 丸めについて よくある誤差や勘違いの例 0.1 = 1 / 10? 0.1 + 0.2 = 0.3? 整数の誤差 Rump’s Example 基本的な誤差評価 用語に関して 実数の丸め 有理数の丸め 基本演算の丸め 差について 複数回の演算 補題たち 桁落ちについて Re: Rump’s example 融合積和 数学関数に関する式の計算 誤差の削減に関して 総和計算 数学関数の精度について 比較演算について 雑
日本「中国がアメリカを超える大国になれなかった理由、何を間違えたんだ？」 : 海外の万国反応記＠海外の反応
6 万国アノニマスさん 他の国を模倣する国がどうすれば超えられるんだ？ そんなの数学的に不可能だよ
ゲーム作りとかCGとかに関わる数学(初歩)① - Qiita
ゲーム作りとかCGとかに関わる数学(初歩)① 今回HIKKYさんのアドベントカレンダーに投稿するにあたって、別の温めてたネタはあったんですが諸事情により封印してしまったので、何か別のテーマにしようと考えました。 で、色々考えたのですが、特に思いつかなかったのでCG数学の初歩的な話をしようかなと思います。実際VKetCloudの中でも基本的な数学は必ず使われてますし。 あと「ゲームメーカーズ」さんの記事でも取り上げていただいた、僕のCEDEC+KYUSHU2023の数学のお話がやたらとウケがよかったため、数学の話で行くことにしました。 で最初に書いておくと、書きたかったことの半分もかけていません。 時間の都合上と、あと数式と頭が多すぎるのか、このドキュメントの編集が何度も落ちるからです。 と言うわけで、今回は概要と三角関数とベクトルの話だけにします。 あとは年末年始休みの間にでも続きを書きま
アニメによくある球体に六角形が貼り付けられたバリアについて｜雑ゆ
あるあるですよね。 実はこの多面体はどう頑張っても作れません。正六角形でなくとも、六角形のみで多面体を構成することは不可能です。 詳しく知りたい人は、オイラーの多面体定理が参考になるでしょう。 (2023-12-19 追記) 穴が空いてたり、六角形がくぼんでたりすると作れるっぽいことがわかりました。 というわけで、何かしらの誤魔化しがなされています。集めて観察してみよう。 平面的に配置し切り取っているもの 葬送のフリーレン第3話よりおそらく平面に敷き詰めた六角形を歪ませて円状に切り取り擬似的に見せてると推測します。煙で少し隠されている上部での輪郭の回りこみに違和感があり、立体としては不自然だと感じました。(違ったらごめん) 参考:フラーレン このカットは煙によって一瞬しか映らないことで気付きにくいよう工夫されています。こんなのにわざわざ気付くの自分くらいだろうというくらいには一瞬だったので
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
【コード付き】Pythonを使った偏微分方程式の数値解法【入門】 - LabCode
本記事では、偏微分方程式の数値解法の基本を、分かりやすい具体例とともに掘り下げていきます。偏微分方程式には解析的な解が存在しない場合が多いため、Pythonを活用してこれらの複雑な問題にアプローチする方法を学びます。 本記事を足がかりに数値解析の旅を始めてみませんか？ 注1） 本記事は丁寧に解説しすぎたあまり、大変長くなっております。まずはご自身が興味のある部分だけをお読みいただくことを推奨します。 注2） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となりま
数学の入門書を選ぶ3つのコツ - webエンジニアの日常
微分方程式をしっかりと学んだことが無く、何か手ごろな入門書はないかと本屋さんに出向いたあなたは、きっと驚くはずだ。 微分方程式の入門書はとても多いからだ。さらに、ぱらぱらとめくってみたり、目次を見てみても、中身はほとんど同じだったりする。 これは例え話ではなく、本当に驚くほど同じような書籍が連立している。 線形代数ともなると、さらに多い。 そこで、この記事では、似たような専門書・入門書の中からあなたが欲しいと思う一冊を見つけ出すための３つのコツを紹介する。 これは勉強マニアの私が常に実践しているコツで、この方法を使い始めてからほとんど本の購入に失敗したことが無い。（多くの失敗を重ねてできたノウハウだともいえる） もちろん、数学でなくても物理学の専門書・入門書を選ぶときでも使える。 【目次】 「はじめに」に注目 あなたが得たい知識は「練習問題」にある 最初の1割を理解できるか 最後に 「はじ
知られざる王小雲。米国の暗号学的ハッシュ関数MD5、SHA-1を過去に葬り去った女性研究者 - 中華IT最新事情
第4回未来科学大賞で多額の賞金が、数学者、王小雲に授与され、彼女の名前がにわかにメディアに注目をされた。王小雲は2004年に米国のハッシュ関数「MD5」の脆弱性を発見した研究者だったと資訊咖が報じた。 ネット社会に必須のハッシュ関数 デジタル時代、ハッシュ関数はさまざまなところで使われる。最もよく知られているのは、パスワードの保管や書類の改竄検知などだ。 ハッシュとは「混ぜこぜ」という意味で、元のデータを混ぜこぜにして、まったく別のデータに変換をしてしまうというものだ。例えば、「元の数値を2倍にして1を引く」という単純なアルゴリズムでもハッシュ関数に近いことができる。2であれば3になるし、7であれば13になる。元の数字とは異なったものになる。 しかし、これでは何かの役に立つことはできないため、暗号学者、数学者たちは、複雑なアルゴリズムを考案し、ハッシュ関数としてさまざまな応用をしてきた。こ
【制限時間15秒】「17×115＝」を暗算できる？
東京大学経済学部卒。プロ算数講師。志進ゼミナール塾長。 プロ家庭教師、SAPIXグループの個別指導塾の塾講師など20年以上の豊富な指導経験があり、常にキャンセル待ちの出る人気講師として活躍している。 現在は、学習塾「志進ゼミナール」を運営し、小学生から高校生に指導を行っている。毎年難関校に合格者を輩出している。 算数が苦手な生徒の偏差値を45から65に上げて第一志望校に合格させるなど、着実に学力を伸ばす指導に定評がある。暗算法の開発や研究にも力を入れている。 ずっと算数や数学を得意にしていたわけではなく、中学3年生の試験では、学年で下から3番目の成績だった。数学の難しい問題集を解いても成績が上がらなかったので、教科書を使って基礎固めに力を入れたところ、成績が伸び始める。その後、急激に成績が伸び、塾にほとんど通わず、東大と早稲田大の現役合格を達成する。この経験から、「基本に立ち返って、深く学
数学教科書から“ｘ”消える 米起業家が独占使用権獲得
日本で使用されている算数・数学の教科書から変数「ｘ」が消えることが２８日、わかった。ツイッターを所有する米起業家のイーロン・マスク氏がXの独占使用権を獲得したため。突然の通告に出版社も対応に苦慮している。 数学の教科書を手がける複数の出版社が２７日、全国の教育委員会と書店に「弊社算数及び数学教科書の回収・交換に関するご案内」という文書を相次いで送付した。いずれも教科書に登場する変数「ｘ」が買収によって使用できなくなったため、８月下旬までに改訂版と交換するという内容だった。 中高生向け数学教科書を出版する鱒出版によると２５日、マスク氏の代理人を名乗る人物から、数学に関する出版物におけるＸの独占使用権を氏が獲得したため、今後教科書内でｘの使用を禁じる内容の通告があったという。担当者は「ｘは数学で最も重要な概念。かなり厳しいところを突かれてしまった」と戸惑いを隠せない。 Ｘに対するマスク氏の執着
私たちはコンピューターのシミュレーションの中で生きているという「シミュレーション仮説」を実証する方法とは？
「私たち人間が生きる現実世界は、実は高度な文明をもつ何者かによるシミュレーションに過ぎない」と考える「シミュレーション仮説」というアイデアがあります。シミュレーション仮説は直観的には「ありえない」と思ってしまいますが、経験や意識、歴史などについても「シミュレーションがねつ造したもの」と言われてしまうと反論が難しいもの。このシミュレーション仮説が正しいかどうかをテストする方法について、ポーツマス大学の物理学者であるメルビン・M・ボプソン氏が解説しています。 How to test if we're living in a computer simulation https://theconversation.com/how-to-test-if-were-living-in-a-computer-simulation-194929 「宇宙が実はシミュレーションである」という考え方は、2003
「高校数学の基礎が150分でわかる本」にかけた思い - E869120's Blog
1. はじめに こんにちは、東京大学 3 年の米田です。この度は、ダイヤモンド社から『高校数学の基礎が 150 分でわかる本』という書籍を出版させていただくことになりました。高校数学の基礎を図解で超わかりやすく説明した本です。 【フルカラー図解】高校数学の基礎が 150 分でわかる本 - Amazon 本稿では、この本を書いたきっかけや、この本に懸けた思いについて記したいと思います。 なお、本の内容紹介につきましては、以前こちらの記事に書かせていただいたので、まだ読んでいない方はぜひお読みください。 2. 前提：数学はあらゆる人が身に付けてほしい 執筆のきっかけについて書かせていただく前に、まずは数学に対する僕の考えを述べておきます。僕は、高校数学の基礎くらいのレベルの知識は、あらゆる日本人が身に付けるべきだと思っています。 この理由としては、仕事の幅が広がる、論理的思考力が身につくなどた
AIを学ぶのに必要な最低限の数学の知識は5つだけ!｜shi3z
最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。 確かに、AI、特にディープラーニングに出てくる用語には、ベクトルやテンソルなど、代数幾何学で使う言葉が多い。が、敢えて言おう。 代数幾何学とAIはほとんど全く全然何も関係していないと。 なぜこのような不幸な誤解が生まれてしまうかの説明は後回しにして、意地悪をしても仕方ないので、AIを理解するために最低限知っておかなければならない用語を5つだけ紹介する。 テンソル(スカラー、ベクトル、行列など)おそらく、「テンソル」という言葉が人々を全ての混乱に向かわせている。 Wikipediaの説明は忘
仏紙が唸る「数学を世間に広める能力で、時枝正にかなう者はいない」 | 直感の逆を突き、驚かせ、人の未知への欲求を刺激する
スタンフォード大学の教授で数学者の時枝正（ときえだ・ただし）は、「おもちゃ」を使って数学や物理の定理を解き明かす。スープ皿や木のレール、大きなコインを手に、「ショー」とも呼べそうな講義をいかにも楽しげに始めるその姿に、聴衆は一瞬にして心を惹きつけられるという。 数学者には二つのタイプがいるという──。一つは、チョークを握り黒板に向かう、理論派タイプ。もう一つは、フェルトペンとホワイトボードを使う、どちらかというと応用数学系の人である。 その伝でいうと、時枝正は第三のタイプの数学者である。しかもこの第三のタイプは、世界広しといえども彼一人だけの可能性がある。 時枝は仕事道具をどれも煎餅の空箱から取り出すのだが、箱は「すべて同じブランドのもの」なのだそうだ。たとえばその中身は、見かけはそっくりなのに、転がるものと転がらないものがある二つの不思議な構造物。ひもや輪ゴム、クリップの扱い方は、まるで
高３から高１の勉強を始めた筑駒生が東大模試でA判定をとり、早慶に無対策で合格するものの、狂った東大入試2023に心を討たれる物語 - daiPのブログ
前置き この記事は、「高2までほぼ勉強しなかった筑駒生の受験記録は需要あるか？」と聞いたら後輩たち等々から相当な反応を貰ったことから、書き残したものである。それ以上でもそれ以下でもないので、軽く読んで欲しい。 タイトルにもある通り、「物語」がメインであるが、それだけではただの自分語りになり、飽きると思うので、読んでくれた受験生が参考になるようなことも含めて書いた。 (あと、結構な人にはてなブログに載せるのはマズいって言われたのだが、なぜでしょうか。) なぜ高３から高１の勉強を始めたのか 中学生の間は、「スプラトゥーン２」に没頭し、月末世界ランキング９位までに上り詰めた。もちろんその代わり、英語の成績は落ちぶれるばかりであった（数学は好きなので続けていた）。今考えればここからすでに”英弱”であった。 そしてここから、コロナ禍に突入する。学校がなく、やりたい勉強をやり放題のチャンスである。さて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
黒電話の電話線、この見た目では考えられないほど強いパワーを秘めていて驚く「うっかりすると感電する」
「ゲーム制作には数学が必要！」って、実際どのレベルまで？図解で学ぶ、数式とゲームの関係性【CEDEC+KYUSHU 2023】
数学特化の情報共有サービス
