事前学習の改善で自然言語処理の精度向上｜Transformerベースのモデル「ProphetNet」
こんにちは、インフォマティクスで機械学習業務を担当している大橋です。 今回はディープラーニングを用いた自然言語処理の論文、ProphetNet [1] を紹介したいと思います。 既存の構造に対する修正を最小限にし、ちょっとした発想で事前学習の方法を改善して精度を向上させたことが書かれている興味深い論文です。 自然言語処理と転移学習 自然言語処理とは、機械に日本語や英語等の言語を理解・判別させたり生成させたりする処理のことです。例えば迷惑メールの判別、文章の自動要約、日英翻訳などがこれにあたります。 これらを機械学習で実現しようとしたときに問題になるのが、正解付き学習データの作成です。 十分な精度を出すには相応の量を用意する必要があり、多くの場合人間が手作業で作成するため、かなりの時間がかかります。先の要約の例だと、ニュース記事等の文章に対してその要約文を作成する作業です。 この問題を軽減す
自然言語処理（NLP）とは｜仕組み・活用例・課題
こんにちは、インフォマティクスの空間情報クラブ編集部です。 昨今スマートスピーカーやチャットボットをはじめ、AIを活用したさまざまなシステムの登場で、業務や生活がますます効率化・高度化されています。 今回はそれらのシステムに応用されている自然言語処理の仕組みや応用例についてご紹介します。 自然言語とは 自然言語とは、普段私たちがコミュニケーションをとる際に使う言葉のことをいいます。 この自然言語に相対する言語として「形式言語」「人工言語」と呼ばれるものがあります。 自然言語：人の話し言葉や書き言葉 構文や意味合いのルールがゆるいので、利用者が文脈によって解釈のルールを変えられる。 人工言語、形式言語：数式やプログラミング言語など人工的、形式的に定義された言語 構文や意味が明確・厳密に定義されており、利用者はそのルールに従わなくてはならない場合が多い。 自然言語処理とは 自然言語処理（しぜん
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
