第1章 理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章 応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-)
中学生でもわかる深層学習
第1章 理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章 応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-)
大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
「遺伝的アルゴリズムで最高にエッチな画像を作ろう！」がGoogleに怒られた話｜群青ちきん
「そらとぶあざらしさん」を遊んで頂くと、大体の温度感がご理解いただけるかと思います。 制限がされたページ今年の1月10日に、noteタイトルにもある「遺伝的アルゴリズムで最高にエッチな画像を作ろう！」というページを公開しました。 内容はタイトルの通りです。 ランダムに生成された2枚の画像から「エッチ」な方を選んでいくと、アルゴリズム学習によってだんだんとエッチな画像になっていくというものです。 遺伝的アルゴリズムで最高にエッチな画像を作ろう！ (エッチな画像が見れるとは言っていない) より このページには、筆者のささやかな収入源として、GoogleAdSenseの広告を貼っていました。 GoogleAdSenseとは、大企業であるGoogleが運営している個人クリエイター向けの広告プログラムです。 AdSenseのポリシーとして、「性的に露骨なコンテンツ」(Sexually explici
Probabilistic Machine Learning: An Introduction
Probabilistic Machine Learning: An Introduction by Kevin Patrick Murphy. MIT Press, March 2022. Key links Short table of contents Long table of contents Preface Draft pdf file, 2023-06-21. CC-BY-NC-ND license. (Please cite the official reference below.) Report issues here Order a hardcopy from MIT Press or Amazon.. Figures from the book (png files) Code to reproduce most of the figures Diff from 2
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
EMアルゴリズム徹底解説 - Qiita
本ブログは、混合ガウス分布を題材に、EMアルゴリズムという機械学習界隈では有名なアルゴリズムを丁寧に解説することを目的として書いています。 また、この記事は、「数学とコンピュータ Advent Calendar 2017」の24日目の記事です。 そして長いです。 1. はじめに 観測した確率変数 $X$ をよく表現する、モデル $p(x|\theta)$ のパラメータを求めることが確率分布の推定ではよく行われます。つまり最尤法ですね。より複雑な分布になるとその分布の構造に潜在変数(Latent Variable) $Z$ があると仮定してモデル化を行うと、シンプルな組み合わせで $X$ の分布を表現できることがあります。今回扱う混合ガウス分布もその一つです。 のちに説明しますが、データセットの種別を完全データ集合と不完全データ集合に分けた場合、不完全データ集合に属するようなデータセットはデ
kNNとベイズ誤り確率 - Qiita
この記事は古川研究室 Workout_calendar 21日目の記事です． 本記事は古川研究室の学生が学習の一環として書いたものです．内容が曖昧であったり表現が多少異なったりする場合があります． はじめに 前回はkNNについてこちらで記事にしました． kNNについて勉強していたところ，$k=1$の場合のkNN，通常の最近傍法（以下NN）の説明として，その誤り率の上限と下限がベイズ誤り確率によって決められるという説明を目にしました[1]．そちらの文献の式を追うとともに，理解の過程としてこの章で紹介させていただきます． ベイズ誤り確率とは 本記事で登場する「誤り確率」という言葉は，一貫して「分類器が分類を誤る確率」のことをいいます． ベイズ誤り確率とは，データの特徴そのものの不完全さに起因する「必然的な誤り」であり，特徴空間上での「分布の重なりの度合い」と解釈することのできる誤り確率のことで
XGBoostの概要 - ともにゃん的データ分析ブログ
XGBoostの凄さに最近気がついたので、もうちょっと詳しく知りたいと思って以下の論文を読みました。 XGBoost: A Scalable Tree Boosting System せっかくなので、簡単にまとめてみたいと思います。。。と思っていたら結構な量になってしいました。 何か間違い等がありましたらコメントをしていただくか、@kefism へ連絡をしてくださると嬉しいです。 XGBoostとは 基本的に内部で行われていることは決定木を複数個作るということです。しかし、その作り方に特徴があります。 ここで記号を定義しておきましょう。 説明変数を次元として、目的変数を、とします。ここではデータの数です。またデータに対する予測値をとします。 まず決定木を１つ構築します。するとその決定木を使用して予測ができるようになります。１つ目の決定木から得られるデータに対する予測値をとしましょう。このと
なぜGoogle Meetの背景ぼかしが最強なのか（一般公開版）
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
MIT 6.S191 (2020): Introduction to Deep Learning
MIT Introduction to Deep Learning 6.S191: Lecture 1 Foundations of Deep Learning Lecturer: Alexander Amini January 2020 For all lectures, slides, and lab materials: http://introtodeeplearning.com Lecture Outline 0:00 - Introduction 4:14 - Course information 8:10 - Why deep learning? 11:01 - The perceptron 13:07 - Activation functions 15:32 - Perceptron example 18:54 - From perceptrons to neural
実践Deep Learning：波形データの入出力
データの前処理を中心にDeep Learningで自然言語を扱うにあたっての基礎について解説しています。 次の動画：Deep Learningによる波形データの分類と回帰 https://www.youtube.com/watch?v=22Eq_0qADf4 前回の動画：Deep Learningで行う自然言語処理入門 https://www.youtube.com/watch?v=NzuDWpHPLco Deep Learning入門：Recurrent Neural Networksとは https://www.youtube.com/watch?v=yvqgQZIUAKg Deep Learning入門：数式なしで理解するLSTM（Long short-term memory） https://www.youtube.com/watch?v=unE_hofrYrk 実践De
Deep Learning ideas that have stood the test of time
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
Deep Learning精度向上テクニック：様々な活性化関数
この動画では、Deep Learningで用いられる様々な活性化関数を紹介します。 ニューラルネットワーク設計の基礎 https://www.youtube.com/watch?v=O3qm6qZooP0 ニューラルネットワーク学習の仕組み https://www.youtube.com/watch?v=r8bbe273vEs 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 Neural Network Console https:
Deep Learning入門：Generative Adversarial Networks (GAN)とは？
この動画では、Generative Adversarial Networks（GAN、敵対的生成ネットワーク）の基礎を解説しています。 前回の動画（Recurrent Neural Networksとは？）はこちら https://www.youtube.com/watch?v=yvqgQZIUAKg ニューラルネットワーク設計の基礎 https://www.youtube.com/watch?v=O3qm6qZooP0 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 DCGAN (Conditional)サンプルプロジェクト # Neural Network Console クラウド版へのログインが必要。また、GPUでの学習を推奨 ht
Deep Learningで行う自然言語処理入門
この動画では、データの前処理を中心にDeep Learningで自然言語を扱うにあたっての基礎について解説しています。 前回の動画：「物体検出」 https://www.youtube.com/watch?v=5nmVHoA-A2E Deep Learning入門：Recurrent Neural Networksとは https://www.youtube.com/watch?v=yvqgQZIUAKg Deep Learning入門：数式なしで理解するLSTM（Long short-term memory） https://www.youtube.com/watch?v=unE_hofrYrk Deep Learning入門：Attention（注意） https://www.youtube.com/watch?v=g5DSLeJozdw Deep Learning入門：Tr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMの現在 - Speaker Deck
ChatGPT
全ての機械学習の論文は新しいアルゴリズムを提案しているのですか？
DeepL Translate: The world's most accurate translator
AIブーム終焉の意味するところ｜Ryota Kanai
