推薦システムにおけるニューラルネットワークの活用について読んだ論文をゆるくまとめる - Re:ゼロから始めるML生活
ここ数ヶ月くらい、推薦システムにおけるNNの活用というテーマで論文をちょこちょこ読んでいました。 推薦システムにNNを適用・応用するという守備範囲も広いテーマではありますが、せっかく良い機会なので自分用にまとめてみたいと思います。 理解が曖昧なところもあり、マサカリが飛んできそうな気配がプンプンしますが、がんばって書いてみたいと思います。マサカリコワイ... 前提知識 協調フィルタリング Matrix Factorization Factorization Machine ニューラルネットワークの推薦システムへの応用の傾向 Feature EngineeringとしてのNN Wide & deep DeepFM DCN AutoInt DCN V2 系列データとして取り扱うNN prod2vec AttRec BERT4Rec Transformers4Rec 参考文献 読んだ論文をまとめ
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
Deep Learning論文紹介のカレンダー | Advent Calendar 2019 - Qiita
The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.
2019年までのCAM(Class Activation Map)まとめ - Qiita
はじめに この記事は，一応「Deep Learning論文紹介 Advent Calendar 2019」の12/20に投稿する予定だったものですが，ずれにずれた結果，2019年のギリギリになって焦って今頃焦って投稿したものです．全然間に合っていなくて申し訳ありませんでした．．．また，一応記事内の記号は統一するようにしていますが，画像内の記号まで統一はできていません．．．それでも良いという方はどうぞご覧ください． 本記事の概要 個人的な見解ですが，今回取り上げるCAM(Class Activation Map)は判断根拠をハイライトする方法として結構有名なものだと思います．後にも述べますが，CAMをより様々なネットワークに対応させたものにしたGrad-CAMと呼ばれる手法があるのですが，来年の某SAIとかでも使用した原稿が多く投稿されると思いますので，ここで一度整理したいと思いまとめました
最新手法！「Grad-CAM++」のレビューと実装 - Qiita
はじめに 現象数理学科4年Dasonです。Qiita８記事目。 この記事は「明治大学 Advent Calendar 2018」第８日目の記事です。 本当はこの日に書く気はなかったのですが、PayPayでNintendo Switchを買ってテンションが上がった...兼ねてから実装を試みていたGrad-CAM++の実装ができたので、勢いで書いちゃうことにしました。 簡単になんでこの内容を選んだのか、どういう仕組みなのかを説明した後、実装＆実験といった流れで話を進めて行きます。 では、いきましょう。 ※注意 (2019年5月追記) この記事を最初に執筆して半年近く経過しますが、半年もすると「最新手法！」とは言えなくなってきました。ごめんなさい。釣りじゃないです。 ただ、Grad-CAM++はCAMやGrad-CAM同様一目で分かりやすい結果の描画ができたり、Grad-CAMのもついくつかの問
これから強化学習を使いたい人向け、強化学習の基礎と論文紹介 - Qiita
実務でモデルフリー強化学習を活用しようとして勉強したことを書きます ドコモの先進技術研究所1年目の勝見と申します。今回は先輩から誘われて、アドベントカレンダーの記事の12日目を担当することになりました。本来は現在行っているデータ分析周りの業務になにか絡めて書けると良いのですが、残念ながらまだオープンにできるようなネタはありませんので、私が業務での実タスクに応用しようと検討を行っている強化学習（モデルフリー）の初学者向けの記事を自身のためのまとめも兼ねて、学習の過程で個人的に面白いなと感じたポイントを織り交ぜながら書こうと思います。 マルコフ決定過程 (Markov decision process) このあたりは多くの記事でも取り上げられているため今更感がありますが、強化学習をタスクに適用するために必要となる定式化について説明しておきます。 強化学習では取り扱う問題を、エージェントが起こし
Papers with Code - The latest in Machine Learning
X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design ericlbuehler/mistral.rs • 11 Feb 2024 Starting with a set of pre-trained LoRA adapters, our gating strategy uses the hidden states to dynamically mix adapted layers, allowing the resulting X-LoRA model to draw upon different capabilities and create
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
