Wasserstein GAN と Kantorovich-Rubinstein 双対性 - Qiita
この文章は，英語の勉強を兼ねた https://vincentherrmann.github.io/blog/wasserstein/ の和訳です． twitter:@UMU____ 私が見るに，最近提案されたWasserstein GAN(WGANs)はとても興味深いものである．この投稿では，WGANsについての背景や構造や利点については説明しない．WGANについての構造等については，元論文やこの素晴らしい要約(英語)を参照することをオススメする．その代わり，この投稿では主にKantorovich-Rubinstein 双対性とその特殊なケースの詳細について言及する．この双対性はある意味WGANsの中心的な役割を果たしていると考えられる．もちろん，この双対性についての研究は最近になって新しく示されたものではないが，WGANsという応用先としては魅力的な手法である． 元論文は，フィールズ賞
GANで因果推論 | Research Blog
はじめに 6月中旬からAI LabのAD Econチームでインターンをしている齋藤 (@moshumoshu1205)です. 普段はこちらのブログで記事を書いたりしています. 唐突ですが, 広告や教育, そして医療に至るまである介入が個々の被介入者に対して有する因果効果(個別的因果効果: Individual Treatment Effect)を予測できると嬉しいことがたくさんあります. 例えば, 本当に効果がある人を事前に特定してその人たちにのみ広告を打てるとしたら, 広告配信の費用対効果を改善できます. さらに, 望ましい治癒効果の望まれる人にのみ投薬や治療を施すことができたら, 治療効果の最大化が期待できるでしょう. これらの例にとどまらず多くの分野で, 介入の適切な個別化はKPIの改善に寄与すると考えられるためここ数年で盛んに研究されています. 本記事では, それらの研究の一つであ
双曲空間ではじめるレコメンデーション - Gunosyデータ分析ブログ
はじめに こんにちは、MediaAds ML Teamに所属している飯塚(@zr_4) です。 以前書いたブログ*1をベースに変更を加えた論文がRecSys 2019 *2 に通りました(ヤッター)。 埋め込みベースの推薦は、近年最も成功を収めた推薦手法の一つです。 埋め込みベースの推薦を行っている多くの大企業では、精度良くアイテムやユーザーを表現するため、数百次元のベクトルを使用しています。それによって、莫大な計算リソースを日々消費していることと思います。またリアルタイムにベクトルの演算を行うために検索システムを自作している企業も少なくないと思います*3。負荷の大きさから、特定のロジックの実装に踏み込めないケースも多々あるかと思います。 一方で近年、埋め込みの空間に双曲空間を用いることで、階層構造、木構造、Directed Acyclic Graph (DAG) が低次元のベクトルで表現
Machine Learningを用いた論文一覧2018 | Seamless
Machine Learningを用いた論文2018を精選し一覧（60本程）にしました。Seamless Supporter Programに参加されている方は、完全版（100本程）をこちらより閲覧することができます。 本論文は、fMRIで測定した人間の脳活動のみから、その人が見ている画像を機械学習を用いて再構成する技術を提案します。本提案手法は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化します。また、一度見た画像を記憶し、画像を見ていない状態から心の中でイメージする脳活動だけで再構成することも実証しました。 論文：Deep image reconstruction from human brain activity 著者：Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani 所属：AT
CS 229 - Machine Learning Tips and Tricks Cheatsheet
By Afshine Amidi and Shervine Amidi Classification metrics In a context of a binary classification, here are the main metrics that are important to track in order to assess the performance of the model. Confusion matrix The confusion matrix is used to have a more complete picture when assessing the performance of a model. It is defined as follows:
KelpNetで転移学習 - じんべえざめのノート
今回は、KelpNetでVGGを元に転移学習を行います。転移学習とは、あるタスクで学習したモデルを他のタスクに利用する手法です。ニューラルネットワークの場合だと、犬を認識するというタスクで学習したネットワークを、猫を認識するというタスクに利用したりします。 今回の記事は、ニューラルネットワークの基礎~VGG、KelpNetの概要を理解している方を対象にしています。読み終わるころには、「転移学習とは何か」「転移学習のメリット」「ファインチューニング・ドメイン適応との違い」「KelpNetでの転移学習の実装方法」が分かるようになっており、説明もこの順番で行っています。 ニューラルネットワークやVGG・KelpNetについては、それぞれ以下の記事で紹介しています。 ニューラルネットワーク入門 C#の深層学習ライブラリ「KelpNet」 KelpNetでCNN KelpNetでVGG 転移学習とい
Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト Kaggleにおいて、人によってはソリューションを書いてくれているものがあります。特徴量エンジニアリングやアルゴリズムなど業務での参考になるだろうと思われるので、仕事で関わりそうなデータという観点から4つほどですが事例を集めてみました。このような事例のまとまった本とかあったらいいのですが。 基本的に各事例ごとに ・目的 ・どんなデータセット ・どんな特徴量エンジニアリング ・どんなアルゴリズム ・リンク を記していきます。 Walmart Recruiting – S
深層学習用ライブラリを自作して二足歩行を学習させてみた – EL-EMENT blog
WebGLとCUDAで動く深層学習用のライブラリを作って深層強化学習 (Deep Deterministic Policy Gradient, DDPG) で二足歩行を学習させました。学習環境の作成にはOimoPhysicsを使いました。 開発の経緯や以下実装方法、学習結果などです。例によって怪しい個所へのツッコミは歓迎です。 >> Open Repository on GitHub これまでの流れ 前回の続きです。前回作ったプログラムを拡張してライブラリ化、その上で強化学習を行うプログラムを作成、WebGLとCUDAに対応させて二足歩行を学習といった流れになりました。 全結合NNから計算グラフへ 前回のプログラムでは全結合ニューラルネットワークに対する偏微分の計算方法をハードコーディングで実装していたため、全結合NN以外のモデルを使った学習ができませんでした。そこで、より一般的なモデルに
LDAとそれでニュース記事レコメンドを作った。 - tdualのブログ
筆不精なのでこのブログも放置気味だったのですが、まあ流石にそろそろ少しずつでも今まで貯めた込んだものを書き残した方が良い気がしてきた。 なので、これからなんか書いていきます。 最初はDeep Learningの記事にしようとも思ったけど、社内勉強会でLDAをまとめてたのを思い出したのでまずはこれから書こうと思います。 注意書き 理論 1.LDAの前に「トピックモデル」とは 2.LDAとは*2 3.LDAで使う確率分布 カテゴリカル分布（マルチヌーイ分布） Dirichlet(ディリクレ)分布 4.確率的生成モデル 5.グラフィカルモデル表現 6.LDAの解釈 7.経験ベイズ(Empirical Bayes) 8.変分ベイズ法(Variational Bayesian methods) 9.平均場近似(Mean field approximation) 10.変分下限とKullback-Le
深層学習で学習やるならNVIDIA一択？いや、AMDという選択肢がありますよ - Qiita
はじめに 本稿の内容は、某イベントで私が頒布した頒布物の内容を一部転載し、最新の情報(2018/05現在)へと対応した内容をまとめたものとなります。 (2019/01/28修正) ROCm2.0について、Linuxカーネル4.19以上でのインストール法、Tensorflow-rocmのPyPI登録等について加筆しました (2018/05/19修正) Radeon Open Computeの現状部分、およびインストール環境の制約に関して修正を行いました。 TL;DR ・Radeon Open Compute（ROCm）というAMDの提供するGPU環境のオープンソースプロジェクトの一環と、それを利用したCudaライブラリのユーザーのポーティングで深層学習ライブラリがAMDのGPUでも動くよ！ ・対応ライブラリが大幅に増え、ROCmを支えるGPUドライバもLinux公式カーネルに組み込まれるなど
Jupyter Notebook Viewer
機械学習でツイート主を推測する¶こんにちは。ライブラリのAPI叩くマンの DSひとり@factorydatamngです。 ところで、私はツイッターで@nardtreeさんと南極にゃんこ@NekoAntarcticaさんをフォローしているのですが、このお二人はキャラがやや被っているうえ、どちらもアニメアイコンで、しかもアイコン変更の頻度が多いという共通点があります。 フォローして間もない頃はこれはどっちのツイートだ？と迷う事がよくありました。 今ではキャラの違いも分かってきて混同する事も無くなったのですが、ふと、これ機械学習で分類できるんじゃね？ と思いたちました。 以下、勢いでやってみましたが、自然言語処理は素人なのでおかしな点があればコメント頂けるとありがたいです。（あと、お二方ネタにしてすみません😅） おおまかな方針¶ ツイートを取得 ツイートを形態素解析して分割 ツイート毎のベクト
新規アプリケーションへの深層学習適用のベストプラクティス - Qiita
どのようにサービスにディープラーニングを適用すればいいか、ベストプラクティスがまとまっていた論文があったので、訳してみました。 元論文 Best Practices for Applying Deep Learning to Novel Applications Leslie N. Smith https://arxiv.org/ftp/arxiv/papers/1704/1704.01568.pdf アブスト このレポートは、特定のドメインのエキスパートだがディープラーニングに詳しくない人向け ディープラーニングを試してみたいと思っている初心者のための経験的なアドバイス フェイズを分割することで、マネージメントしやすくすることを薦めている 各フェイズごとに、新規学習者へのおススメと知見を含んでいる イントロダクション ディープラーニングの研究してるから、ディープラーニングのアプリケーショ
ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
Computational complexity of mathematical operations - Wikipedia
Graphs of functions commonly used in the analysis of algorithms, showing the number of operations versus input size for each function The following tables list the computational complexity of various algorithms for common mathematical operations. Here, complexity refers to the time complexity of performing computations on a multitape Turing machine.[1] See big O notation for an explanation of the
画像からHTMLを生成する深層学習とは？AIがwebサイト自動コーディング。 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Probabilistic Matrix Factorization を導出して Edward で実装する - でかいチーズをベーグルする
Edward っていう確率モデリングのためのライブラリがよさげって話を聞いたので入門してみたら良かったという話。せっかくなので、行列分解を確率モデルとして定義した Probabilistic Matrix Factorization を実装してみた。 Edward – Home 行列分解 (Matrix Factorization) 前にも書いた気がするけど、行列分解ってのは N x M 行列 X を、適当な K に対して N x K 行列 U と M x K 行列 V（の転置）との積に分解する手法のこと。つまり、 となるような U と V 見つければOK。ここで、 と が近くなる（ になる）というのは例のごとく二乗誤差で評価する。つまり、 が最小となるような U と V を求める。 は U の i 番目の（K次元）行ベクトルで、 は V の j 番目の（K次元）行ベクトルを表す。要素ごと
Learning From Scratch by Thinking Fast and Slow with Deep Learning and Tree Search
Training powerful reinforcement learning agents from scratch by Thinking Fast and Slow. Dual Process Theory According to dual process theory human reasoning consists of two different kinds of thinking. System 1 is a fast, unconscious and automatic mode of thought, also known as intuition. System 2 is a slow, conscious, explicit and rule-based mode of reasoning that is believed to be an evolutionar
Choosing the right estimator
Choosing the right estimator¶ Often the hardest part of solving a machine learning problem can be finding the right estimator for the job. Different estimators are better suited for different types of data and different problems. The flowchart below is designed to give users a bit of a rough guide on how to approach problems with regard to which estimators to try on your data. Click on any estimat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redirect
Research at NVIDIA: Video to Video Synthesis
