PyTorch
Get Started Ecosystem Tools Learn about the tools and frameworks in the PyTorch Ecosystem PyTorch Conference - 2022 See the posters presented at PyTorch Conference - 2022 PyTorch Conference - 2023 October 16-17 in San Francisco Contributor Awards - 2023 Award winners announced at this year's PyTorch Conference
畳み込み+Attention=最強？最高性能を叩き出した画像認識モデル「CoAtNet」を解説！ - Qiita
1. CoAtNetの解説 1.1 畳み込みとSAの復習 コンピュータビジョンで用いられている大きな仕組みに畳み込みとSelf-Attention(=SA)があります。畳み込みではEfficientNet、SAではViTが有名ですね。EfficientNetについてはこちらの拙著記事、ViTについてはこちらの拙著記事をご参照ください。CoAtNetでは、この畳み込みとSAの良いとこ取りをしたブロックを作ることが一番の目的になっています。畳み込みとSAの式を復習しておきましょう。ここでは畳み込みの中でもDW(=Depthwise)畳み込みを取り扱います。そして、本論文では分かりやすさを優先しているのか、式の細かいところ(SAにおけるqkvの埋め込みなど)はあえて排除しているように見えるので、理解しやすいです。 1.1.1 畳み込みの式 本論文では、畳み込みの中でもDW(=Depthwise)
物体検出のDeepLearning読むべき論文7選とポイントまとめ【EfficientDetまでの道筋】 - Qiita
お久しぶりです。 2012年のHintonさんのAlexNetによるILSVRCでの圧勝を皮切りに、画像認識の世界でもDeepLearningが脚光を浴びることとなりました。 物体検出の世界でも現在DeepLearningを用いたモデルが主流になっています。 https://paperswithcode.com/sota/object-detection-on-coco を見ると、 COCO test-devにおいて、state-of-the-art(SoTA)のモデルはEfficientDet-D7xのようです。 独断と偏見も少々ありますが、そのEfficientDetを理解するために読むべき論文を7つ集めてみました。 DeepLearning以降の物体検出に焦点を当てて、出来るだけ簡潔につらつらと書いていきたいと思います。 物体検出とは 物体検出について知らないという人は以下の動画を見
【2019/4月更新】学習済みの様々なディープラーニング・モデルをメチャ簡単に利用できる！ Model Asset Exchange(MAX)をご紹介します - Qiita
【2019/4月更新】学習済みの様々なディープラーニング・モデルをメチャ簡単に利用できる！ Model Asset Exchange(MAX)をご紹介しますPython機械学習DeepLearningDockerBluemix TL;DR せっかくトレーニング済みの著名OSSディープラーニング・モデルがあっても、モデルだけじゃ専門家でないと再利用できないじゃん MAXなら1コマンドでDLモデルをRESTサービス化してくれるので、ややこしいことを知らない初心者でもモデルを楽に再利用できますよ～ (2019/04) Node-REDからも使えるよ って話です。 (2019/04/17) MAXが公開されて約１年たちましたが、Blog: 「Expanding the reach of the IBM Model Asset eXchange (2019/03/29)」に、この一年の振り返りと各種
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
Preferred Networks Visual Inspection
検査自動化を高精度に実現する AI 外観検査ソフトウェア Preferred NetworksVisual Inspection Preferred Networks Visual Inspection は独自の深層学習技術(ディープラーニング, AI)により、従来難しかった外観検査の自動化を高精度に実現するソフトウェアです。 少ない学習データでも簡易なアノテーションで高精度な検査を実現しているため、短期間・低コストで検査システム構築が可能です。 Preferred Networks の有するスーパーコンピュータで膨大な試行錯誤を経て改善を続けてきた本製品は、販売開始より150社以上のお客様に導入いただき、自動車、電子デバイス、鉄鋼、食品、半導体や建築など、様々な業界でその効果を発揮しています。 ユースケースを見る
TensorFlowで Hello Worldを動かしてみた&その解説 | DevelopersIO
平田です。TensorFlowという機械学習ライブラリが流行っているようなので、とりあえず触ってみました。 ということで、まずはHello worldと、その解説を行っていきたいと思います。 セットアップ & Hello world まずは、Tensorflowをローカル上にインストールしていきます。今回はOSX上に環境を作っていきます。 はじめにvirtualenvを利用して、tensorflow用の環境を作成します。 tensorflowは今のところpython 2.7上でのみ動くようなので、これに揃えて環境を作成していきます。 $ # python バージョン確認 $ python —version Python 2.7.10 $ # virtualenvのインストール $ easy_install pip $ pip install virtualenv $ # virtualen
【即スマホで試せる】55の深層学習実装 on Google Seedbank - 画像分類から翻訳、音楽生成まで - Qiita
実行手順 PCブラウザ リンク先から Open Seed in Colab を押す ソースコードは、セルを選択し 左上の再生ボタンを押す または Shift + Return で実行できる。 基本GPUを利用により、コード実行時に早く進められる メニューの ランタイム> ランタイムのタイプを変更 から、 ハードウェアアクセラレータ に GPU を選択 スマホブラウザ iOS/AndroidいずれかのChromeでリンク先を開き、 Open Seed in Colab を押し、実行方法は同上 領域別のSeedリストと簡易解説 以降の画像は、特に注釈のない限り Seedbank から引用したものです 画像や動画 Image & Video 基本のMNISTから動画のコンテキスト推定までの分類、DeepDreamに始まりCycleGANなどメジャーなGANが動かせます。 分類 Classific
ディープラーニングで翻訳プログラムを0から作った人がその仕組みを複雑な数式ではなく図で解説するとこうなる - GIGAZINE
テクノロジーが発達することで、専門家でなくてもニューラルネットワークを使って翻訳プログラムを作ることが可能になりました。とは言っても、全く知識がない人にその仕組みを理解するのは難しいもの。そこでライターのSamuel Lynn-Evansさんが自分で情報を調べつつ0から翻訳プログラムを作成し、その時に理解した仕組みを数式を使わずに説明しています。 Found in translation: Building a language translator from scratch with deep learning https://blog.floydhub.com/language-translator/ 言語は非常に複雑で、これまで機械翻訳を行うには何人もの専門家が必要でした。しかし、人工知能(AI)の発達により、もはや専門家でなくても機械翻訳を行うことが可能になりました。これまで専門家
敵対的生成ネットワーク_GAN (Vol.19)
クーポン取得者をX、ピザ購入者をZとしましょう（XとZは確率変数）。XとZが相互に与える影響を無視して、それぞれ独立の確率分布（周辺確率）を求めると、クーポンを取得した人の周辺確率p(X)は0.45、ピザを購入した人の周辺確率p(Z)は0.35となります。 お互いに影響を及ぼすことも考慮した場合（同時確率分布）は、2つの確率変数を使ってp(X,Z)と表します。2つの変数が両方動くと計算しにくいので、1つを固定してもう1つの変化で見ていきます（条件付き確率分布）。 確率の加法定理と乗法定理 統計はどうしても数式っぽいのが出てきてしまうので、ここで用語と記号をおさらいします。 XやZ：確率変数 周辺確率：p(X) 同時確率分布：p(X,Z) 条件付き確率分布：p(Z|X)…Xが起こる条件下でのZの確率 ついでに次の2つの定理も覚えておきましょうか。 確率の加法定理：p(X)=ΣZp(X,Z)
Googleの事前学習済みモデルを手軽に利用出来るTensorFlow Hub - Technical Hedgehog
自然言語処理におけるword2vecや画像処理におけるInceptionなど、一般的に広く用いられているモデルを上流で用いる事は多くあります。汎用的な知識を扱えるメリットがある一方、学習には大量のデータセットの準備と膨大な学習時間がかかってしまいます。 この問題に対して、あらかじめ学習させた状態のモデル(事前学習済みモデル)を用意しておき上流に転移させる方法があります。本記事ではその事前学習済みモデルについて、Googleが提供するのライブラリであるTensorFlow Hubを紹介します。 TensorFlow HubはGoogleの大量リソースを用いて学習したモデルを手軽に実装できるほか、自作したモデルを別環境で利用しやすいように自作することも可能です。本記事では概要と特徴、利用方法を紹介します。 今回説明するTensorFlow Hubの利用方法、作成方法について実験したコードはGi
Deep Learning JP
松尾・岩澤研究室主催の公開講座「スプリングセミナー 2024」では3講座を開講します. 受講を希望される方は下記ページを参考にしてください. 深層生成モデル 深層強化学習 more
ゼロから作るDeep Learning ❷
コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編。第2弾の本書では、自然言語処理や時系列データ処理に焦点を当て、ディープラーニングを使ってさまざまな問題に挑みます。word2vecやRNN（リカレントニューラルネットワーク）、LSTMやGRU、seq2seqやAttention……ディープラーニングを支えるこれら最先端の技術を実装レベルでマスターできます。前作同様、やさしい言葉で分かりやすくをモットーに、高度に見える技術の裏側をじっくり説明し、実際に作ることで理解を深めます。最後までコンセプトは変わらない。ゼロから作る！ 関連ファイル サンプルコード 学習済みの重みファイル（6章、7章） 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷し
ニューラルネットワーク使ったAIなんかめっちゃ簡単だから。俺天才ｗｗみたいなフリすんのやめろ - bonotakeの日記
スイマセン。クソ煽りタイトルですが、下記の記事のタイトル意訳しただけです。草生やして更にクソさを増してはいます。 Neural network AI is simple. So… Stop pretending you are a genius 個人的にはぜひ本文読んでこの記事のクソ煽りっぷりを満喫してほしいのですが、英語読むのもメンドクセという方に、何が書いてあるかをさらっとだけ説明すると。 要はニューラルネットワークって、↓のPythonで11行のコード分の処理やってるだけじゃね？ こんなの使いまわした程度で「うはｗｗｗ俺天才ｗｗｗ」みたいな顔すんのやめろ、ってことのようです。 まぁハッキリ言って、クソ記事ｗｗｗ煽り乙ｗｗｗなんですけど。 でもぶっちゃけ、真実なんですよ。ある面においては。 僕も今の会社に入るまでディープラーニングに関する知識ほぼゼロだったけど、今は少なくとも、自分の業
東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]
新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ
![東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/78e7c0ea2c263bc676ec2c74bae93e76d7853fd9/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180127%2F20180127134253.png)
ATRと京都大学、fMRIで測定した人間の脳活動のみから、その人が見ている画像を機械学習を用いて再構成する提案を発表。心の中でイメージした内容の画像化にも成功
ATRと京都大学、fMRIで測定した人間の脳活動のみから、その人が見ている画像を機械学習を用いて再構成する提案を発表。心の中でイメージした内容の画像化にも成功 2018-01-14 ATR（国際電気通信基礎技術研究所）と京都大学の研究者らは、fMRI（機能的磁気共鳴画像法）によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。 Deep image reconstruction from human brain activity 著者：Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani （左が見ている画像、右が再構成された画像） 本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。 提案手法では、画像を見
データサイエンティストを目指して半年で学んだことまとめ - Qiita
はじめに 本記事では、データサイエンティストを目指して勉強した半年間で学んだこと、気付いたことをまとめます。これからデータサイエンティストを目指して勉強する人の参考になればと思います。 最初の一手 個人的にではありますが、最初はアプローチの理解から始めると思いますが、数式とプログラミングの両方を勉強する方が良いと思います。数式→プログラミング or プログラミング→数式の順序はどちらでも良いと思いますが、プログラミング（フレームワーク）のみはやめた方が良いと思います。出力結果の解釈で苦労することになるので、理論、数式はしっかり理解した方が良いです。 プログラミング、フレームワークの力で、機械学習ができるのは事実ですが、作ったモデルや予測結果の説明ができなければ価値がありません。 そして、モデルは作るだけでなく、評価・改善していく必要があります。その際に、グリッドサーチのようにモデルのパラメ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
深層学習 DS-GA 1008 · 2020年度春学期 · ニューヨーク大学データ・サイエンス・センター
Crypko
Deep Learning基礎講座演習コンテンツ 公開ページ