大阪公立大学大学院理学研究科FD研修会 「人工知能と数学」2024年2月15日 https://www.omu.ac.jp/orp/ocami/activities/fd/list/ 講演者：鈴木 大慈 氏（東京大学大学院情報理工学系研究科・准教授） 講演タイトル：機械学習の数学 講演アブストラクト：機械学習は現在，ChatGPTや拡散モデルといった基盤モデルの発展により，社会的に大きな影響を与える技術となっている．これら基盤モデルは大規模資本によるモデル開発による発展が著しいが，一方でその裏には数学的に興味深い理論的背景がある．本発表では，そのような基盤モデルを支える深層学習の背後にある理論を紹介する．より具体的には，代表的な生成モデルの一つである拡散モデルの背後にある確率微分方程式による特徴付けやその推定理論について述べ，大規模基盤モデルの基本構造であるTransformerの関数近似

2024東大理系数学第3問 連立漸化式を行列表示する (1)で答える，とりうる点を反時計回りに点$\mathrm{C}_0, \mathrm{C}_1, \ldots, \mathrm{C}_7$とおきます。 そして，$n$秒後に点$\mathrm{P}$ が $C_k$ にいる確率を $p_{n,k}$ とおくと，$n$秒後から$n+1$秒後への推移は次の行列で表されます。 \begin{pmatrix} p_{n+1,0}\\ p_{n+1,1}\\ p_{n+1,2}\\ p_{n+1,3}\\ p_{n+1,4}\\ p_{n+1,5}\\ p_{n+1,6}\\ p_{n+1,7} \end{pmatrix} =\frac{1}{6} \left( \begin{array}{cccccccc} 0 & 1 & 0 & 2 & 0 & 1 & 0 & 2 \\ 1 & 0 & 2

本記事では、非線形の偏微分方程式の数値解法について、分かりやすい具体例とともに掘り下げていきます。Pythonを活用したアプローチ方法を学びます。 本記事を通して偏微分方程式の数値解法の1つを会得しましょう！ 注） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。

最近の話ですが、以下のようなニュースが話題になっているのを見かけました。 データサイエンス系の学部は文理融合の学びを掲げ、文系の受験生も集めるため、受験科目に「数学」を含まない入試方式を設ける大学も少なくない。河合塾によると、私立大のデータサイエンス系学部・学科における昨春の一般選抜のうち、数学を選ばずに受験できる大学は約半数もあった。 要は「数学不要」のデータサイエンス学部が出てくるようになったというお話で、各種SNSでは論議を呼んでいるようです。界隈によってはほとんど「嘲笑」に近い評が流布していることもあり、少なくともデータサイエンス業界におけるこのニュースの受け止められ方としてはかなり冷ややかだという印象があります。 とは言え、冗談でも何でもなく「全国津々浦々どこに行っても大学の新設データサイエンス学部の広告を見かける」*1というのが既に常態化している昨今では、これに類する話題は今後

Google DeepMindが、国際数学オリンピックレベルの複雑な幾何学問題を解決できるAI「AlphaGeometry」を発表しました。AlphaGeometryは、実際に国際数学オリンピックで出題された幾何学問題30問を制限時間以内に25問解いたとのことです。 Solving olympiad geometry without human demonstrations | Nature https://www.nature.com/articles/s41586-023-06747-5 AlphaGeometry: An Olympiad-level AI system for geometry - Google DeepMind https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-syst

移動平均（Moving Average）とは？　SMA／WMA／EMAの違い：AI・機械学習の用語辞典 用語「移動平均」について説明。時系列データ（例: 株価）を平滑化すること、具体的には一定期間（例：5日間）の平均値を計算することをデータポイントごとに繰り返し、計算後の一連の平均値を線でつなぐこと（移動平均線）。データの長期的な傾向や短期的な動きを把握するのに役立つ。 連載目次 用語解説 金融分野や数学／統計学／機械学習における移動平均（Moving Average）とは、時系列データ（例えば毎日の株価データ）の変動を平滑化（＝なだらかに）することで、データの傾向や動きを見やすくする方法である。 具体的には、計算対象となる1つのデータポイント（例：ある1日の株価）に対して「特定の期間分のデータポイント（例：過去5日間分の株価）の平均値」を計算する。そして、次のデータポイント（例：次の日）

なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計

こんにちは。早く業務に慣れたい開発チーム入社１年目の髙垣です。 急ですが皆さん。ふと、音をフーリエ変換したい時ってありませんか？ ありますよね。 でも、「フーリエ変換って学校で計算式で習ったけど、結局は何をしているんだ？」となることありませんか？ そこで今回は計算式なんてほっといて、Pythonを使ってフーリエ変換が何をやっているのか体験してみましょう！ 環境構築 下記リポジトリをクローンしてください https://github.com/takaT6/fft-tutorial クローンができたら下記のライブラリをインストールしてください↓ pip install numpy matplotlib japanize_matplotlib japanize_matplotlib はmatplotlibに日本語を書き込めるようにするライブラリです。 日本語化をするにはフォントを入れたり、設定フ

「Average」と「Mean」の違いとは？　「平均」を意味する2つの英単語：AI・機械学習の用語辞典 用語「Average」と「Mean」の違いについて説明。両方とも「平均」と訳されるが、「Average」が日常的な会話や文脈の中でよく使われる一般的な用語であるのに対し、「Mean」は数学／統計学／機械学習といった専門的な文脈の中でよく使われる専門的な用語であるという違いがある。 連載目次 用語解説 「平均」に対応する英単語と言えば、多くの人は「Average」を思い浮かべるのではないだろうか（筆者も最初に思い浮かべる）。このように一般的な文脈や会話における「平均」は基本的に「Average」と訳される。 これに対して、数学／統計学／機械学習における「平均」は基本的に「Mean」と訳される。通常、この場合の平均は、より厳密には「算術平均（Arithmetic Mean）＝相加平均」を意味

本記事では、放物形偏微分方程式の数値解法について、分かりやすい具体例とともに掘り下げていきます。Pythonを活用したアプローチ方法を学びます。 本記事を通して偏微分方程式の数値解法の1つを会得しましょう！ 注） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。こ

用語「調和平均」について説明。データの各数値の逆数で平均を取り、さらにそれを逆数にして戻した値を表す。計算式にすると、データ数を「データの各数値の逆数」の総和で割る形になる。速度／レート（率）のデータ（＝逆数の形で加算される加法的なデータ）を平均する場合に適した平均の計算方法だ。

本記事では、偏微分方程式の数値解法の基本を、分かりやすい具体例とともに掘り下げていきます。偏微分方程式には解析的な解が存在しない場合が多いため、Pythonを活用してこれらの複雑な問題にアプローチする方法を学びます。 本記事を足がかりに数値解析の旅を始めてみませんか？ 注1） 本記事は丁寧に解説しすぎたあまり、大変長くなっております。まずはご自身が興味のある部分だけをお読みいただくことを推奨します。 注2） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となりま

最も一般的に使われる「平均」とは、全ての数値を足して合計し、それを数値の総数で割ることである。これは、数学／統計学／機械学習において「算術平均」と呼ばれる。平均には他にも、「加重平均」や「幾何平均」「調和平均」「トリム平均」「移動平均」などがある。本稿ではこれらのうち幾何平均について解説する。なお算術平均については、「平均値（Mean）／中央値（Median）／最頻値（Mode）とは？」で説明しているので併せて参照してほしい。 数学／統計学／機械学習における幾何平均（Geometric Mean）とは、n個あるデータの各数値を全て掛け合わせた積（総乗値）のn乗根*1を取ることである。幾何平均は相乗平均とも呼ばれる。 *1　nはデータの数であり、n＝2（つまり√）のときは「平方根」、n＝3（つまり3√）のときは「立方根」、n＝4（つまり4√）のときは「4乗根」、それ以降も「5乗根」「6乗根」

用語「加重平均」について説明。算術平均がデータの合計値をデータ数で割った値なのに対し、加重平均は重み付けしたデータの合計値を全ての重みの合計値で割った値を表す。各データが異なる重要度を持つ場合に適した平均の計算方法だ。 連載目次 用語解説 最も一般的に使われる「平均」とは、全ての数値を足して合計し、それを数値の総数で割ることである。これは、数学／統計学／機械学習において「算術平均」と呼ばれる。平均には他にも、「加重平均」や「幾何平均」「調和平均」「トリム平均」「移動平均」などがある。本稿ではこれらのうち加重平均について解説する。なお算術平均については、「平均値（Mean）／中央値（Median）／最頻値（Mode）とは？」で説明しているので併せて参照してほしい。 数学／統計学／機械学習における加重平均（Weighted Mean）とは、データの各数値に重み付けした上で全て足した合計値を、全

連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 逆行列を求めるには ある正方行列A（行数と列数が同じ行列）があったときに、Aとの行列積を計算すると単位行列（行列の左上から右下に向けた対角要素の値が1、他の要素の値が0となるような行列）となるような行列のことを逆行列と呼び、A-1と表記します。Iを単位行列とすると、A・A-1＝A-1・A＝Iとなるような行列のことです。ただし、全ての行列に逆行列が存在するわけではないことには注意が必要です（逆行列が存在する行列のことを正則行列と呼び

Transformerとは Transformerは、NLPで主に使用される深層学習アーキテクチャの一つです。Transformerが出現した後、様々なタスクに活用されていたRNNとLSTMはTransformerに置き換えられました。そしてBERT, GPT, T5などのNLPモデルにTransformerアーキテクチャが適用されました。 この記事ではTransformerの基本的な意味から構造まで説明します。この記事、Encoder編で扱うTransformer内容は次の2件です。 Transformerの全体的な構造紹介 TransformerのEncoder理解 そしてDecoder編では続いて次の3つの主題を取り上げます。 TransformerのDecoder理解 EncoderとDecoderの結合 Transformerの学習 この記事ではコードを用いた説明は行いません。数

2023/7/25 13:30 ヤコビアンは統計学実践ワークブックの４章変数変換に出てきますが、限られたページ数の中での説明なので、よくわかりません。そこで英語のウィキ https://en.wikipedia.org/wiki/Jacobian_matrix_and_determinant を基にPythonコードを含めて、調べてみました。DeepL,ChatGPTと使っています。 いつも通り間違いがあると思うので、ご指摘いただければ幸いです。 これは「データの分析方法を学ぶ会」の勉強会で悩んだ問題の１つです。定期的に勉強会を開いています。https://study-data-analysis.connpass.com/ 関数$f :\mathbb{R}^n → \mathbb{R}^m$ は、その一階偏導関数が$\mathbb{R}^n$ 上で存在するとします。このとき、$f$のヤコビ

はじめに 最小二乗法はデータ解析の基本ですが、意外にその内容の理解が難しかったりします。特に、入力データと出力データの積の和が出てくる理由があいまいな人も多いんじゃないでしょうか。以下では、最小二乗法の公式の意味をちょっと考えてみたいと思います。 最小二乗法 何か実験をして、観測値を得ることを考えます。例えば抵抗値のわからないものに、様々な電圧をかけて、流れる電流を測ったとしましょう。 この時、入力電圧をx、出力電流をyとすると y = a x という比例関係が期待されます。この比例定数aを実験から精度よく求めたい時、どうすればよいでしょうか？ 実験をN回繰り返すことにして、i番目の実験の入力電圧x_iに対し、出力電流y_iを得たとしましょう。このデータセット(x_i, y_i)を使って、最もよくaを推定したい、というのが本稿の目的です。 ここで考えなくてはいけないのが「最も良くaを推定す