論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
会話という錯覚について｜shi3z｜note
あちらの記事は万人向けに書いているので、行間読まないとわからないようなことは省略してあるのだが、本欄の読者には補足として蛇足になるかもしれないが会話について研究していて思ったことを記しておく。 人工無能と僕記事中にあるように僕がチャットボット・・・当時は人工無能と呼ばれていたが・・・を開発し始めたのは中学生の頃だ。1990年頃だと思う。 きっかけは、中学校にNECのパソコンが導入されて、友達に自分のプログラムを見せる機会を得たからだ。 家で一人でプログラミングしているときはどうも気分が乗らなかったのだが、友達を面白がらせるという動機は子供の頃の僕にとっては非常に強く働いた。 一度、家で人工無能のプログラミングをしたときは、相手が自分しかいないのでわりとすぐ飽きてしまったが、中学になってその熱が再燃した。 きっかけは月刊ASCIIに、AWKの特集が載ったことで、AWKというのは要はUNIX用
LINE、日本語特化の汎用言語モデルを開発へ--NAVERと共同で
LINEは11月25日、NAVERと共同で日本語に特化した超巨大言語モデル（膨大なデータから生成された汎用言語モデル）の開発を発表した。日本語に特化した超巨大言語モデル開発は、世界でも初めての試みになるとしている。 特化型言語モデルなど、従来の言語モデルでは、各ユースケース（Q＆A、対話など）に対して自然言語処理エンジニアが個別に学習する必要があった一方、汎用言語モデルは、AIでより自然な言語処理・言語表が可能。同モデルは、OpenAIが開発した「GPT」やGoogleの「T5」などが代表例となる。 新聞記事や百科事典、小説、コーディングなどといった膨大な言語データを学習させた言語モデルを構築し、コンテキストを設定するFew-Shot learning（ブログの書き出しやプログラミングコードの一部などを与えること）を実行すると、対話、翻訳、入力補完、文書生成、プログラミングコードといったさ
言語モデル：朝日新聞社メディア研究開発センター 人工知能研究の取り組み
概要 言語モデルとは、人間が話したり書いたりする「言葉」を、単語の出現確率でモデル化したものです。昨今ではニューラルネットワークによる言語モデル (ニューラル言語モデル) が広く使われています。言語モデルには、左から右に順々に単語を予測するCausal Language Model (CLM) と、文中の単語を一部隠して「穴埋めクイズ」を解くMasked Language Model (MLM) があります。大規模な言語データを用いて、CLMやMLMのような方式で学習することで、高品質な言語モデルの構築が可能になります。 最近では、MLMのBERTやCLMのGPT-3などがメディアに取り上げられることも多くなってきました。メディア研究開発センターでは、過去30年にわたって蓄積してきた記事データを用いて言語モデルの構築と、自動要約や文書分類などのタスクへの応用研究を行っています。 各言語モデ
「Googleスプレッドシート」、AIでグラフ作成が簡単に--自然言語を理解
スプレッドシートに詳しい人なら、「=AVERAGE(Sheet1!C2:C933)」のようなコマンドもごく簡単に書けるだろう。そうでない人にとって、表計算アプリ「Googleスプレッドシート」に人工知能（AI）が組み込まれるということは、「What are the average sales for Sunday?（日曜日の平均売上高は？）」と聞くだけで済むようになる、ということだ。 Googleが米国時間6月1日に発表したAIに関するアップデートは、平易な言い回しによるコマンドを理解できるようにしようとする取り組みにおいて、Googleスプレッドシートが出した最高の成果だ。さらに例を挙げれば、「What is the distribution of products sold?（販売された製品の分布は？）」「Histogram of 2017 customer ratings（2017年
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Innovations in natural language processing from IBM to help enterprises better understand the language of their business - IBM Blog
https://muro.sakenowa.com/posts/flavor-chart/