OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
GPT-3の学習データはどのように作られたか - moriyamaのエンジニアリング備忘録
OpenAIが発表した言語モデルGPT-3はパフォーマンスの高さから各方面で注目されており、ついにはMicrosoftが学習済みモデルの利用を独占化しました。 私個人の所感としてこれまで学習済みモデルは無料公開するという流れを無視し、（アーキテクチャではなく）学習済みモデルが商品化するのはAIビジネスの一つの転換期と感じています。 深層学習による自然言語処理分野で巨大化していくモデルを十分に学習させるためにはWebデータの活用が大きな役割を果たしています。一方、その量に関する話題はあるものの、利用にあたっての細かな前処理に関する議論はあまりなされていない印象です。 そこで本記事は学習データの構築にフォーカスします。 GPT-3の論文でも言及されている通り、学習データはGoogle Researchが発表したT5のデータを踏襲したと書かれていますので、まずはT5のデータから見て行きましょう。
文章生成AI「GPT-3」がRedditで1週間誰にも気付かれず人間と会話していたことが判明
人工知能を研究している非営利団体OpenAIが開発した言語モデル「GPT-3」を使用して、何者かが海外掲示板のRedditに1週間近く投稿を続けていたことが分かりました。GPT-3による投稿は、最終的に開発者の手によって停止されましたが、発覚するまでの間GPT-3は誰にも気付かれることなく、Redditユーザーと言葉を交わしていたと報じられています。 kmeme: GPT-3 Bot Posed as a Human on AskReddit for a Week https://www.kmeme.com/2020/10/gpt-3-bot-went-undetected-askreddit-for.html Someone let a GPT-3 bot loose on Reddit — it didn’t end well https://thenextweb.com/neural
人間より上手に記事やプログラムを書ける、話題騒然のAI「GPT-3」に巨大な弱点あり
この夏、世界中で話題になったAI（人工知能）がある。米国のOpenAI（オープンAI）財団が発表した「GPT-3」だ。あたかも人間が書いたような自然な文章を作っただけでなく、短い文章からプログラムのソースコードやWebページのレイアウトを生成し、AI研究者の度肝を抜いた。しかしGPT-3には「巨大な」弱点も存在する。 OpenAI財団が2020年6月に発表したGPT-3は、文章の「言語らしさ」を予測する「言語モデル」というAI技術だ。言語モデルはAIが単語や文章を理解したり自然な文章を生成したりするうえで不可欠な要素であり、機械読解や質問応答、機械翻訳など様々なアプリケーションに応用できる。AIは言語らしさを基準に、単語と単語、文章と文章の関係をベクトルによって表現したり、ある単語の次にどの単語が続くべきかを予測したりするためだ。 言語モデルは2018年に米Google（グーグル）がBER
スタンフォード大の研究者、AIが子どもと同じ要領で言語を習得していることを発見！ | Techable(テッカブル)
精度向上が目覚ましい自然言語処理モデルだが、文脈から単語の意味を判断するのはあまり得意ではない。ただ、Googleによる自然言語処理モデルBERTに関しては、子どもがするように言語を習得し、文法まで理解するようだ。 スタンフォード大学の研究者は、BERTに穴埋め問題を大量に解かせることで、言語の構造を理解することを発見した。 文脈によって異なる単語の意味を正しく解釈研究者は、モデルにラベル付けしたデータセットで文法構造を教え込むのではなく、子どもに単語穴埋めゲームを解いてもらう要領で虫食い課題を与えた。 研究者は、欠落している単語の予測精度を向上させる際に、モデルが単に文章中の近接する単語を関連付けていると想定していたが、実際は、主語、述語、目的語……といった文法まで学習していることを発見。これにより、例えば「彼女」が誰のことを指しているかがわかり、何をしているかの推測がより正確になる。
バンナムが“自分以外全員AIのSNS”公開 何を言ってもみんなポジティブな反応をくれる理想的な終末世界
バンダイナムコエンターテインメントが6月25日、自分以外全員AIのSNS「Under World」を公開しました。AIたちがどんな投稿に対しても優しくリプライを返してくれる平和な世界で、SNSに疲れた人たちに癒しをもたらしてくれるとのこと。「やはり人類は愚かだ滅ぼすしかない」とか言い続けてきた結果がこれだよ。 とにかく明るいPR動画 動画内容カット テンションが高すぎる 「Under World」は、ライトノベル・テレビアニメ「ソードアート・オンライン」（SAO）のゲーム「ソードアート・オンライン アリシゼーション リコリス」のスピンオフ企画として作られたもの。3週間限定の公開で、ゲームと同じ「自分以外全員がAI」の世界を体験できます。 「Under World」ではバリエーション豊かな人格のAIが住んでおり、投稿する内容によってAIたちが違うリプライを送ってくれます。ある言葉を投稿すると
深層学習系のトップ会議ICLR2020のNLP系論文についてざっくり紹介 - 株式会社ホクソエムのブログ
ホクソエムサポーターの白井です。今回はICLR2020 の論文を紹介します。 The International Conference on Learning Representations (ICLR) は機械学習の中でも特に深層学習 を専門とした国際会議です。 OpenReview.net によるopen peer reviewを採用しているので、submitされた論文はだれでも閲覧可能です。(ICLR2020 open review) 2020年はエチオピアで開催予定でしたが、COVID-19の影響でvirtual conferenceとなりました。 今回はNLP系の論文について5本紹介します。 すでに日本語ブログ記事で紹介されているような論文もありますが、自分が興味を持った部分を中心としてざっくりと紹介したいと思います。 以降、とくに記載がない場合、図は論文またはブログからの引用で
AI企業が考察するGoogle翻訳超え機械翻訳「DeepL」のスゴさ | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
BERTを量子化して高速かつ軽量にする - moriyamaのエンジニアリング備忘録
こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装されたBERTモデルに量子化を適応する方法を紹介します。 量子化とは 量子化という単語は数学や物理など様々な領域で使われています。ここで述べる量子化は情報理論における量子化であり、主に連続値を離散値で表現することを考えます。 機械学習の枠組みで考えるとモデルのパラメータや学習時の勾配（場合によっては入力と出力データも含める）の数値表現を浮動小数点から整数に変更することを目的にします。 ディープラーニングではパラメータ等をfloat32で表現することが多いですが、もしこれ
頭で考えてることが文章化される。脳波を文章に変換するAIが登場（米研究） : カラパイア
心の中で何を思おうがその人の自由だ。公に発言すると問題になるようなことでも秘めたる思いは自分だけのものだ。 だが今や、自分の考えが公然と文章化できる時代がやってきたようだ。新たに開発されたAIは、脳の活動を読み取って、それを文字に変換することができるのだという。 利用方法によっては大変有意義なものとなるだろう。例えば言葉を話せない人や体の自由がきかない人にとっては画期的なツールとなるのだ。
NLP Research Highlights — Issue #1
Welcome to the first quarterly issue of the natural language processing (NLP) Research Highlights series. The goal is to provide you with a summary and a closer look at a collection of interesting NLP research papers and topics that we recently came across. We aim to distill the important parts of each paper and to make these works more approachable to the reader. This series will also allow us to
「敬語をちょっと直すだけでほぼ完璧な翻訳」Google翻訳以上？DeepL翻訳がスゴいという話
精神科医K @dwdaai DeepL翻訳ガチでやばい こら時代が変わるわ グーグル翻訳でもなんとか意味は取れるがDeepL翻訳は敬語をちょっと直すだけでほぼ完璧な翻訳 twitter.com/jaguring1/stat… 2020-03-20 19:31:09 小猫遊りょう（たかにゃし・りょう） @jaguring1 試しに、いま僕が読み返している、グーグルのAI開発を率いている大天才Jeff Deanの論文（2019年11月13日）の概要を、DeepL翻訳（1枚目）とグーグル翻訳（2枚目）に入れてみた。 Jeff Deanの論文 arxiv.org/abs/1911.05289 DeepL翻訳 deepl.com/translator グーグル翻訳 translate.google.com/?hl=ja pic.twitter.com/9o5VJkfm11 2020-03-20 18
音声から文字起こし、AWSのAIサービス「Amazon Transcribe」が日本語に対応
米アマゾン・ウェブ・サービス（Amazon Web Services）は2019年11月21日（米国時間）、音声からの文字起こしAI（人工知能）サービス「Amazon Transcribe（トランスクライブ）」の対応言語に、日本語など7言語を追加したと発表した。Amazon Transcribeを利用すると、コールセンターや動画配信などのシステムに日本語の文字起こし機能を組み込みやすくなる。 Amazon Transcribeは保存された音声・動画ファイルからの文字起こしに加え、音声・動画のストリームデータを基にした即時の文字起こしも可能だ。今回はこれらのうち音声・動画ファイルからの文字起こしで日本語に対応した。
今年読んだNLP系論文で面白かった5つ - 株式会社ホクソエムのブログ
ホクソエムサポーターの白井です。学生時代は自然言語処理の研究をしていました。 「今年読んだ論文、面白かった５つ」というテーマで、自然言語処理(NLP)の論文を紹介します。 主にACL anthologyに公開されている論文から選んでいます。 はじめに 今年のNLP界隈の概観 1. Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems 面白いと思った点 2. Errudite: Scalable, Reproducible, and Testable Error Analysis 面白いと思った点 3. Language Models as Knowledge Bases? 面白いと思った点 余談 4. A Structural Probe for Finding Syntax in Word
MeCabへユーザー辞書を追加する方法
こんにちは、GMOアドマーケティングのS.Rです。 NLP（自然言語処理）は機械学習の中でも人気な分野の一つです。 今回は日本語のNLPで重要な処理である形態素解析のツール「MeCab」へユーザー辞書を追加する方法を紹介します。 1. NLPの基本処理プロセス 日本語を英語へ機械翻訳する例で説明します。 基本処理プロセスは図1の通りです。形態素解析は日本語に関するNLP処理の最初のプロセスです。 図1. 機械翻訳の処理の流れ 2. 形態素解析とは 形態素解析については以下のWikipediaの解説をご覧ください。 形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最新AIの描く絵が「ヤバすぎ」「個展開ける」と話題 文章から画像を生成する「DALL・E 2」、米OpenAIが発表
DeepL翻訳：高精度な翻訳ツール
Engadget | Technology News & Reviews