サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
数学
medium.com/@arxivtimes
XLNetについてメンバーが書いた記事をベースに読み進めていきました。XLNetは自己回帰的(Autoregressive的)ですがBERTはAuto Encoder的、つまりノイズを抜く形式になっています。BERTではMaskを掛けることでノイズを入れていますが、実際にはノイズが入らないため予測時に問題がある・・・というのがXLNetが指摘している問題です。これを解決するため、XLNetでは単純に単語を予測するよう学習します。ただし、予測する際に使用するContextは順序を入れ替えたもの(Permuteされたもの)になっています。「次の単語を予測するけど使用するコンテキストは様々な位置のもの」という工夫を行っている点が、XLNetの肝になっています。Contextは通常のSelf Attentionで作成しますが、予測に使用できるのは予測箇所以外にマスクを掛けたものになります。前者がC
3/29のarXivTimes輪講では、Airbnbから公開された分散表現を用いた推薦の改善と、風景内の文字(看板の文字など)を検出する手法のサーベイ論文を扱いました。 Real-time Personalization using Embeddings for Search Ranking at Airbnb こちらはユーザーに推薦する物件を分散表現を用いて改善したという研究です。ユーザーの嗜好を短期と長期2つの観点から捉えようとしており、前者については時系列のクリックセッションから、後者については予約履歴から分散表現を作成しています。ただ予約のインターバルは長いため、素直に後者を行うとあまり参考になりません。そこで、ユーザー/物件をカテゴリに分けカテゴリ単位でデータ集約して分散表現を作成しています。企業研究らしく、実際の検証/効果測定についても記載がありとても参考になります。 Scen
2018/12/9に、EMNLP2018で採択された論文の読み会を開催しました。発表された論文は6本で、いずれも活発な質疑がありました。質問がなかった場合にそなえ色々用意していたのですが、そんな心配をよそにほとんどの発表で時間いっぱいの質疑がありました。 発表資料は、すでにconnpassのページに上がっています。
2018/7/8、ACL2018開催ジャスト一週間前というタイミングで、ACL2018読み会を開催しました。本記事では、当日の内容と発表された論文の紹介をして行きたいと思います。
1/23のarXivTimes輪講では、DNNのような学習データの全パターンを覚えきることが可能なモデルでも汎化が起こる理由を調査した論文と、論文の検索キーワードを生成する論文を扱いました。 A Bayesian Perspective on Generalization and Stochastic Gradient Descent DNNは膨大なパラメーターを持ち、やろうと思えば学習データを覚えきることが可能です。ただ、それはあくまで「やろうと思えば」であり、自然なデータを学習すること(=汎化な解への到達/flat minima)に比べて無理をしているのでは(Krueger et al. (2017))?という観点から、その「無理しなければいけない度合い」を計測することで学習データのみから汎化性能を予測できるのでは、という点に挑戦した論文です。 この論文では、モデルの想定する事前分布と
誰向け - 高速に物体検出をしたい人 - 論文の内容を理解したい人 - コードで実際に動作させてみたい人 - コードと論文の関係性を把握したい人 # 先に読んだ方が良い記事 物体検出に関する用語が多いため[Deepに理解する... 物体認識の世界では知らぬ者のいないYOLO、その改良版であるYOLO9000について SnowGushiGitが発表しました。Better, Faster, Strongerと銘打っている通り、その工夫は3つに分かれています。 Better ・すべての畳込み層にBatch Normalization ・認識する領域(バウンディング)を設定する際、IoU=回答範囲との一致率で様々なバウンディングをクラスタリングし、確度が高いものから見て行く(経験的に検出可能性が高い領域から見ていく)。 Faster ・Darknetを使用+事前学習済みモデルを利用 ・パラメーター
8/9のarXivTimes輪講では、ラベルなしのデータを有効に活用した研究が紹介されました。今あるデータをどう活用するか、という点は実運用においても役立つテーマと思います。 Unsupervised monocular depth estimation with Left-Right Consistency こちらは一枚の写真から深度を推定する手法を、画像/深度(Depth map)のペアではなくステレオ画像から学習させようという試みです。深度の教師データを作成するのは面倒ですが、ステレオ画像なら簡単に集められます。これを有効に活用することを試みた研究です。 手法としては、Depth mapを直接推定するのではなくステレオ画像における視差(Disparity map)の推定を行っています(視差がわかれば深度も推定できるため)。左カメラ画像から視差を推定し、推定視差と元の画像を組み合わせた
7/7に行われたarXivTimes輪講では、固有表現抽出と囲碁の学習に関する論文がトピックとなりました。各社で研究ドメインが異なるのためこうしたバリエーションに富んだ内容になることもあるのが良いところ・・・です(タイトルは意味不明になってますが)。 Neural Architectures for Named Entity Recognition こちらはDNNを用いて固有表現認識を行う話になります。既存の固有表現認識のモデルは特徴設計に依存することが多く、これらは当然言語に依存していました(品詞、prefix/suffix、外部知識(辞書)など・・・)。そのため、一つのモデルを作ってもそれをほかの言語に適用するのは困難です。 そこで、DNNにより言語依存の特徴量フリーなモデルを作ろうというのが本論文の試みです。基本はBidirectionalなネットワークの上にCRFを乗せた構成となっ
4/25の輪講では、ニューラルネットワークによる言葉の関係性(所謂トリプル)の推定に挑戦した「Reasoning With Neural Tensor Networks for Knowledge Base Completion」と、自然言語による指示で効率的に強化学習を行う「Beating Atari with Natural Language Guided Reinforcement Learning」を取り上げました。 Reasoning With Neural Tensor Networks for Knowledge Base Completion Reasoning With Neural Tensor Networks for Knowledge Base Completion · Issue #12 · arXivTimes…
2/28の論文輪講では、Deep Mindが公表し話題となった「微分可能な計算機の表現」といえるDifferentiable Neural Computersと、自然言語処理におけるAttentionの有用性についてのサーベイを扱いました。 Hybrid computing using a neural network with dynamic external memory
12/13のarXivTimes輪講では、CNNの自然言語への適用としてQRNNの論文をピックアップしました。また、前回の分散表現の流れで、グラフの埋め込み表現の論文も扱いました。 QUASI-RECURRENT NEURAL NETWORKS
7/29のarXivTimes輪講では、XLNetの論文の確認と、AllenNLPを使った開発方法の共有を行いました。 XLNet: Generalized Autoregressive Pretraining for Language Understanding What Is XLNet and Why It Outperforms BERT Basic knowledge of XLNet to understand the difference between XLNet and BERT intuitivelytowardsdatascience.com XLNetについてメンバーが書いた記事をベースに読み進めていきました。XLNetは自己回帰的(Autoregressive的)ですがBERTはAuto Encoder的、つまりノイズを抜く形式になっています。BERTではMask
このページを最初にブックマークしてみませんか?
『arXivTimes – Medium』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く