サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
猫
medium.com/@arxivtimes
6/9に開催された輪講は、新たにIntel様と株式会社ぐるなび様が加わっての開催となりました。会場については、今回Intel様の会議室にお邪魔させていただきました。 今回輪講を行った論文は以下の通りです。 Communication-Efficient Learning of Deep Networks from Decentralized DataIn-Datacenter Performance Analysis of a Tensor Processing UnitTying Word Vectors and Word Classifiers: A Loss Framework for Language ModelingNeural Message Passing for Quantum ChemistryCommunication-Efficient Learning of Dee
XLNetについてメンバーが書いた記事をベースに読み進めていきました。XLNetは自己回帰的(Autoregressive的)ですがBERTはAuto Encoder的、つまりノイズを抜く形式になっています。BERTではMaskを掛けることでノイズを入れていますが、実際にはノイズが入らないため予測時に問題がある・・・というのがXLNetが指摘している問題です。これを解決するため、XLNetでは単純に単語を予測するよう学習します。ただし、予測する際に使用するContextは順序を入れ替えたもの(Permuteされたもの)になっています。「次の単語を予測するけど使用するコンテキストは様々な位置のもの」という工夫を行っている点が、XLNetの肝になっています。Contextは通常のSelf Attentionで作成しますが、予測に使用できるのは予測箇所以外にマスクを掛けたものになります。前者がC
私のチームでは、最近自然言語の研究ではAllenNLPをメインに使っています。AllenNLPで作成したモデルのハイパーパラメーターチューニングを、Amazon SageMakerで自動化したためそのノウハウについて共有しました。なお、SageMakerのインスタンスは結構高いので実際やると結構持ってかれます。学習専用のインスタンスを提供してくれればな〜と感じる今日この頃です。 Airflowによる機械学習基盤構築 こちらは、Airflowを用いた機械学習モデルの学習・デプロイ基盤の構築に関する資料です。Airflow自体はすでに使われていて、その実行基盤をインスタンスベースからKubernetes/コンテナベースに置き換えています(置き換え前はAnsibleでインスタンス構築)。Minikube登場により、ローカルでもテストしやすくなったので今後はますますコンテナベースへの以降が進むかな
3/29のarXivTimes輪講では、Airbnbから公開された分散表現を用いた推薦の改善と、風景内の文字(看板の文字など)を検出する手法のサーベイ論文を扱いました。 Real-time Personalization using Embeddings for Search Ranking at Airbnb こちらはユーザーに推薦する物件を分散表現を用いて改善したという研究です。ユーザーの嗜好を短期と長期2つの観点から捉えようとしており、前者については時系列のクリックセッションから、後者については予約履歴から分散表現を作成しています。ただ予約のインターバルは長いため、素直に後者を行うとあまり参考になりません。そこで、ユーザー/物件をカテゴリに分けカテゴリ単位でデータ集約して分散表現を作成しています。企業研究らしく、実際の検証/効果測定についても記載がありとても参考になります。 Scen
2018/12/9に、EMNLP2018で採択された論文の読み会を開催しました。発表された論文は6本で、いずれも活発な質疑がありました。質問がなかった場合にそなえ色々用意していたのですが、そんな心配をよそにほとんどの発表で時間いっぱいの質疑がありました。 発表資料は、すでにconnpassのページに上がっています。
2018/7/8、ACL2018開催ジャスト一週間前というタイミングで、ACL2018読み会を開催しました。本記事では、当日の内容と発表された論文の紹介をして行きたいと思います。
1/23のarXivTimes輪講では、DNNのような学習データの全パターンを覚えきることが可能なモデルでも汎化が起こる理由を調査した論文と、論文の検索キーワードを生成する論文を扱いました。 A Bayesian Perspective on Generalization and Stochastic Gradient Descent DNNは膨大なパラメーターを持ち、やろうと思えば学習データを覚えきることが可能です。ただ、それはあくまで「やろうと思えば」であり、自然なデータを学習すること(=汎化な解への到達/flat minima)に比べて無理をしているのでは(Krueger et al. (2017))?という観点から、その「無理しなければいけない度合い」を計測することで学習データのみから汎化性能を予測できるのでは、という点に挑戦した論文です。 この論文では、モデルの想定する事前分布と
12/20のarXivTimes輪講では、画像認識モデルの自動設計について取り上げました。年末に仕込むと年明けにはSOTAを達成するモデルができている!?ことも夢ではないので、ぜひお手元にGPUのある方は挑戦してみていただければと思います。 Simple And Efficient Architecture Search for Convolutional Neural Networks 既存のCNNの自動設計では、何百枚ものGPUを数週間ぶんまわすのが主流でした。ただ、これではいくら豊富なお年玉があっても資金の底がつくほか、冬休み中にモデルを構築することは難しいでしょう。 今回取り上げた論文は、より省エネに自動設計を行う手法です。イメージ的には、スクラップ&ビルドで毎回アーキテクチャをゼロから作ってトレーニングするのでなく、徐々に変化させていくような手法を取っています。 この際、変化させ
誰向け - 高速に物体検出をしたい人 - 論文の内容を理解したい人 - コードで実際に動作させてみたい人 - コードと論文の関係性を把握したい人 # 先に読んだ方が良い記事 物体検出に関する用語が多いため[Deepに理解する... 物体認識の世界では知らぬ者のいないYOLO、その改良版であるYOLO9000について SnowGushiGitが発表しました。Better, Faster, Strongerと銘打っている通り、その工夫は3つに分かれています。 Better ・すべての畳込み層にBatch Normalization ・認識する領域(バウンディング)を設定する際、IoU=回答範囲との一致率で様々なバウンディングをクラスタリングし、確度が高いものから見て行く(経験的に検出可能性が高い領域から見ていく)。 Faster ・Darknetを使用+事前学習済みモデルを利用 ・パラメーター
8/9のarXivTimes輪講では、ラベルなしのデータを有効に活用した研究が紹介されました。今あるデータをどう活用するか、という点は実運用においても役立つテーマと思います。 Unsupervised monocular depth estimation with Left-Right Consistency こちらは一枚の写真から深度を推定する手法を、画像/深度(Depth map)のペアではなくステレオ画像から学習させようという試みです。深度の教師データを作成するのは面倒ですが、ステレオ画像なら簡単に集められます。これを有効に活用することを試みた研究です。 手法としては、Depth mapを直接推定するのではなくステレオ画像における視差(Disparity map)の推定を行っています(視差がわかれば深度も推定できるため)。左カメラ画像から視差を推定し、推定視差と元の画像を組み合わせた
蓄積された論文を分類別に見やすくするとともに(量の可視化)、まとめの品質をスコアリングする試みも取り入れています(質の可視化)。そして、投稿していただいた方にメリットになるような機能を導入しています。 具体的には、投稿者の名前をクリックすると個人別のページが参照可能です。個人ページは、一回でも投稿された方であれば参照可能になります。なので、ぜひ個人ページ獲得を目指し投稿にチャレンジしていただければと思います。 こちらを参照することで、どんなジャンルの論文をよく読んでいるのか(円グラフ)、どれぐらい読んでいるのか(棒グラフ)、また実際の投稿が参照できます。棒グラフにひかれている色付きの線は、年間200本読むとした場合のボーダーラインで、このラインを毎月超えていると年間200本達成という目安になります。論文を読む際の目標管理に使用していただければ幸いです。 スコアについて一覧で表示されているゲ
7/7に行われたarXivTimes輪講では、固有表現抽出と囲碁の学習に関する論文がトピックとなりました。各社で研究ドメインが異なるのためこうしたバリエーションに富んだ内容になることもあるのが良いところ・・・です(タイトルは意味不明になってますが)。 Neural Architectures for Named Entity Recognition こちらはDNNを用いて固有表現認識を行う話になります。既存の固有表現認識のモデルは特徴設計に依存することが多く、これらは当然言語に依存していました(品詞、prefix/suffix、外部知識(辞書)など・・・)。そのため、一つのモデルを作ってもそれをほかの言語に適用するのは困難です。 そこで、DNNにより言語依存の特徴量フリーなモデルを作ろうというのが本論文の試みです。基本はBidirectionalなネットワークの上にCRFを乗せた構成となっ
3/21の輪講では、外部メモリを利用したone-shot learningと、TensorFlowと統合し話題となったEdwardについての論文を扱いました。one-shotは頻度の少ないイベントを覚えておくという内容で、異常検知などにも使えそうだなと感じました。 LEARNING TO REMEMBER RARE EVENTS
4/25の輪講では、ニューラルネットワークによる言葉の関係性(所謂トリプル)の推定に挑戦した「Reasoning With Neural Tensor Networks for Knowledge Base Completion」と、自然言語による指示で効率的に強化学習を行う「Beating Atari with Natural Language Guided Reinforcement Learning」を取り上げました。 Reasoning With Neural Tensor Networks for Knowledge Base Completion Reasoning With Neural Tensor Networks for Knowledge Base Completion · Issue #12 · arXivTimes…
2/28の論文輪講では、Deep Mindが公表し話題となった「微分可能な計算機の表現」といえるDifferentiable Neural Computersと、自然言語処理におけるAttentionの有用性についてのサーベイを扱いました。 Hybrid computing using a neural network with dynamic external memory
12/13のarXivTimes輪講では、CNNの自然言語への適用としてQRNNの論文をピックアップしました。また、前回の分散表現の流れで、グラフの埋め込み表現の論文も扱いました。 QUASI-RECURRENT NEURAL NETWORKS
7/29のarXivTimes輪講では、XLNetの論文の確認と、AllenNLPを使った開発方法の共有を行いました。 XLNet: Generalized Autoregressive Pretraining for Language Understanding What Is XLNet and Why It Outperforms BERT Basic knowledge of XLNet to understand the difference between XLNet and BERT intuitivelytowardsdatascience.com XLNetについてメンバーが書いた記事をベースに読み進めていきました。XLNetは自己回帰的(Autoregressive的)ですがBERTはAuto Encoder的、つまりノイズを抜く形式になっています。BERTではMask
このページを最初にブックマークしてみませんか?
『arXivTimes – Medium』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く