TransformerやAttentionの分かりにくい点についてのメモ - StatsBeginner: 初学者の統計学習ノート
ChatGPTの「GPT」はGenerative Pretrained Transformerの略であり、TransformerというのはGoogleが2017年に発表した『Attention is all you need』という論文で提案されたディープラーニングの画期的なアーキテクチャで、その論文のタイトル通り「Attention」という機構だけを使い倒している点が特徴的である。 ……という話は色々なところで紹介されているのだが、私のような素人が読むと誤解してしまうような記述も少なくない。 「仕組みを分かっていない人がいい加減な説明をしている」というよりは、「仕組みをよく知っている人が、素人の気持ちをあまり考えずに説明している」という感じで、悪気は全くないと思うし誤解するのは不勉強なこちらが悪いのだが、読むほうとしては困ることも多い。 そこで、にわか機械学習ユーザである自分がall y
ディープラーニングの限界 | POSTD
(注：2017/04/08、いただいたフィードバックを元に翻訳を修正いたしました。 @liaoyuanw ) この記事は、私の著書 『Deep Learning with Python（Pythonを使ったディープラーニング）』 （Manning Publications刊)の第9章2部を編集したものです。現状のディープラーニングの限界とその将来に関する2つのシリーズ記事の一部です。 既にディープラーニングに深く親しんでいる人を対象にしています（例：著書の1章から8章を読んだ人）。読者に相当の予備知識があるものと想定して書かれたものです。 ディープラーニング： 幾何学的観察 ディープラーニングに関して何より驚かされるのは、そのシンプルさです。10年前は、機械認識の問題において、勾配降下法で訓練したシンプルなパラメトリックモデルを使い、これほど見事な結果に到達するなど誰も想像しませんでした。
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
AIがディープラーニングで生成した絵がクセになる美しさ - U-NOTE[ユーノート] - 仕事を楽しく、毎日をかっこ良く。 -
ディープラーニングとは、多層構造のニューラルネットワークを用いたAI（人工知能）の学習アルゴリズムだ。AIはデータの特徴をより深いレベルで学習し、人間に近い認識が可能になると言われている。上にある恐竜の絵は、このディープラーニングで絵画を学習したAIが生成したもの。よく見ると、恐竜の体は草花で出来ており、奇怪な幻想を見ているような気にさせられる。 研究者が提供する画像合成サイトでこの絵の制作者は、ITライターのChris Rokleyという人。制作者といっても、彼自身がAIの開発を手掛けたわけでなく、すでにある画像合成サイトを利用しただけだ。そのサイト「DEEPART.io」（英語）は、ドイツでディープラーニングを専門にする3人の大学研究者が提供している。合成してみたい画像をドラッグ&ドロップでアップロードするだけで、AIが自動的に合成画像を生成してくれる。自分が撮った写真と、ゴッホやピカ
![AIがディープラーニングで生成した絵がクセになる美しさ - U-NOTE[ユーノート] - 仕事を楽しく、毎日をかっこ良く。 -](https://cdn-ak-scissors.b.st-hatena.com/image/square/d61d85792ee7a673f4a7a8005a7f22c51a3ce879/height=288;version=1;width=512/https%3A%2F%2Firorio.jp%2Fwp-content%2Fimages%2Fuploads%2F2017%2F06%2Feyecatch-15.jpg)
アルファ碁同士の棋譜公開 碁界騒然「見たことない」：朝日新聞デジタル
世界最強棋士との三番勝負で完勝した囲碁ＡＩ（人工知能）「アルファ碁」を開発したグーグル傘下の英ディープマインド社が、対局に備えて積み重ねたアルファ碁同士による自己対戦の棋譜５０局を公開した。棋士の理解を超える着手の連続に、「こんな碁はいまだかつて見たことがない」と碁界は騒然としている。 革新的な技術「ディープラーニング（深層学習）」を導入したアルファ碁は、高段者の棋譜を写真のように画像として読み込み、各局面に応じた好手を学習。人間の残す棋譜だけでは教材が足りず、アルファ碁同士が自己対戦を繰り返して能力を高めたが、その棋譜はほとんど非公表だった。 アルファ碁は５月２３～２７日、中国の世界最強棋士、柯潔（かけつ）九段を３戦全勝で圧倒。その後、ディープマインド社は「囲碁ファンへのスペシャルギフト」として棋譜５０局を自社のホームページに公開した。 手数が進んだ特殊な状況に限り有効とされていた「星へ
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
Machines Can Now Recognize Something After Seeing It Once
Algorithms usually need thousands of examples to learn something. Researchers at Google DeepMind found a way around that. Most of us can recognize an object after seeing it once or twice. But the algorithms that power computer vision and voice recognition need thousands of examples to become familiar with each new image or word. Researchers at Google DeepMind now have a way around this. They made
グーグル・ディープマインド、大量データ不要の深層学習システムを開発
アルゴリズムの学習には通常何千ものサンプルが必要とされる。グーグル・ディープマインドの研究者はその手間の回避方法を見つけた。 by Will Knight2016.11.04 1468 830 111 0 人間は一、二度見ればそれが何かを認識できる。しかし、コンピュータービジョンや音声認識のアルゴリズムは、画像や言葉の習熟に何千ものサンプルが必要だ。 グーグル・ディープマインドの研究者がこの手間を回避する方法を発見した。研究者は深層学習アルゴリズムを巧妙に微調整することで、画像内の物体等をひとつのサンプルだけで認識（分類）する「ワンショット学習」を可能にした。研究チームはタグ付き画像や筆跡、言語を収録した大型データベースで、新方式を実証した。 高精度のアルゴリズムの認識力は信頼できるが、アルゴリズムの構築には多くのデータが必要で、時間もお金もかかる。たとえば、無人自動車が、確実に道路上の個
Matching Networks for One Shot Learning
Learning from a few examples remains a key challenge in machine learning. Despite recent advances in important domains such as vision and language, the standard supervised deep learning paradigm does not offer a satisfactory solution for learning new concepts rapidly from little data. In this work, we employ ideas from metric learning based on deep neural features and from recent advances that aug
ディープラーニングと多様体学習 - "機械学習","信号解析","ディープラーニング"の勉強
2016 - 03 - 17 ディープラーニングと多様体学習 多変量解析 データ解析 機械学習 ディープラーニング 特徴抽出の強力な手法である 多様体 学習について述べます。 更に 多様体 学習とディープラーニングの関係も。 特徴抽出と多様体学習 多様体学習とは？ 主成分分析 本当の多様体学習 良い特徴を自動抽出するディープラーニング 特徴抽出と 多様体 学習 ディープラーニングと言えば、従来の 機械学習 に比べて特徴抽出も自身で行ってくれるという非常に大きな働きをします。 さて今回タイトルに入っている 多様体 学習 とは一体何のことでしょうか。 多様体 学習とは？ まず 多様体 学習というのは、 データに潜んでいる 多様体 を抽出する 手法です。データに潜む 多様体 とは一体何なのでしょう。 多様体 というものを数学的にしっかりやるのは中々難しいです。具体例を見て行きましょう。 まず我々
機械翻訳に関する記事を読んで面白いと思ったこと（与太話） - StatsBeginner: 初学者の統計学習ノート
短いし大したことは言わないし正確に理解もできていないので、ブログ記事にするのもためらわれますが、Twitterの字数では書けないのでここに書きます。 以下の、機械翻訳の現状に関する記事を読み、大変参考になりました。 rekken.g.hatena.ne.jp それで学説史的に興味深いなと感じたのでメモしておきます。与太話です。 1960年代から70年代にかけて「認知革命」というアカデミアのムーブメントがあったと言われます。心理学、言語学、脳科学、計算機科学とかそういった分野にまたがる運動だったんだけど、心理学の方面から見た時によく言われるのは、「記号（表象）の関係をモデル化する」という研究が推し進められたのが特徴であったということ。それまでは、パブロフとかスキナーといった名前が有名だけど、「行動主義」という考え方があって、心の中身はモデル化することはできないから、外面的に観察できる「刺激」
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Kerasで学ぶAutoencoder
Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod
Appleが初めて明かすディープラーニングによる人工知能開発秘話
By Vincent Noel IT関連メディアのBackchannelが、Appleのインターネットソフトウェア＆サービス上級副社長のエディー・キュー氏、ソフトウェアエンジニアリング上級副社長のクレイグ・フェデリギ氏、Siri担当シニアディレクターのアレックス・アチェロ氏などそうそうたるメンバーにインタビューを実施し、Siriを始めとするAppleが行ってきた人工知能開発について初めて明かされました。 An Exclusive Look at How AI and Machine Learning Work at Apple – Backchannel https://backchannel.com/an-exclusive-look-at-how-ai-and-machine-learning-work-at-apple-8dbfb131932b iPhoneに搭載されている音声認識ア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【川端祐一郎】我々の仕事を奪うのはAIではない | 表現者クライテリオン
最近のDeep Learning (NLP) 界隈におけるAttention事情
qsfrombooks.click
長文日記
自ら学習するコンピュータの素晴らしくも物恐ろしい可能性
