はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森
グラフ理論と隣接行列 グラフ理論は点と線で物事を表す理論です。たとえば駅の路線図では下記のように駅を点、路線を線で表します。 東京メトロホームページより 上記の路線図では「駅と駅が隣接するかどうか」を中心に取り扱う一方で、それぞれの位置や方角などは厳密に再現はされません。このように、「隣接するかどうか」のみに着目して物事を表す際の理論を「グラフ理論」といいます。 グラフ理論では点をノード(node)、線をエッジ(edge)、全体をグラフ(graph)と定義します。数式で表すと$G = (V,E)$のように表しますが、$V$が頂点のVertice、$E$がEdge、$G$がGraphであるとそれぞれ解釈すると良いです。 グラフの表記法に関しては主に$2$通りあり、「①図を用いる」と「②隣接行列を用いる」をそれぞれ抑えておくと良いです。例があるとわかりやすいので下記のWikipediaの例を元
ニューラルネットワークの中身を分割してAIの動作を分析・制御する試みが成功、ニューロン単位ではなく「特徴」単位にまとめるのがポイント
GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \ Decomposing Language Models Into Understandable Components https://www.anthropic.com/index/decomposing-language-models-into-understandable-components 大規模言語モデルは多数のニューロンが接続されたニューラルネットワークで、ルールに基づいてプログラミングされるのではなく、多数のデータを元にトレーニングを行うことでタス
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ
DALL·E 2
DALL·E 2 is an AI system that can create realistic images and art from a description in natural language.
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog DataLabsのSpeech teamに所属している小松です。環境音認識に関する基礎研究を行っています。環境音認識とは我々の身の回りで起こる多種多様な音、たとえば咳や話し声、物音などを機械に自動的に検出・認識させる技術です。この技術は音に関する分野の中で最もホットで急成長しているトピックの一つであり、環境音を専門に扱う国際コンペティション/ワークショップ、DCASEも毎年開催されています。 そのコンペティション部門であるDCASE2020 Challengeのtask 4に、LINEは昨年度のインターン成果 [1] を主軸にした名古屋大学、ジョンズ・ホプキンス大学との合同チームで参加し、世界1位を獲得することができました。本
IT業界において大規模言語AIサービス「ChatGPT」が大盛り上がりだ。2023年に入ってからはあらゆる業界の企業がChatGPTを使ったサービスをこぞって発表している。IT超大手GAFAMも続々大規模言語AIの活用方針を打ち出している。 そんなChatGPTはどうやってここまでの人気を得るに至ったのか。日本語特化の大規模言語AIを開発してきた東大発ベンチャー・ELYZA（東京都文京区）は3月16日の発表会で、今この業界で何が起きているのかを、歴史とともに解説した。 GAFAMが続々アプローチ IT業界が一瞬でAIカラーに染まる ChatGPTは2022年11月の公開以降、飛ぶ鳥を落とす勢いでユーザーを獲得してきた。ユーザー数はリリースから5日で100万人、2カ月で1億人を突破した。米Microsoftは開発元の米OpenAIにもともと10億ドルを出資していたが、ChatGPT登場後さら
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2018年10月に登場して、自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、GLUEベンチマークでは人間の能力が12位(2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解にはTransformer[Vaswani, A.
ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is All You Need」を発表し、今日の AI トレンドの基礎を築いた。 Transformer の最も重要なブレークスルーは、言語モデルの運用フローとは別に、多くの処理作業を同時に行うことでコンピューティングパワーを利用できるようにする「並列化」だ。スタンフォード大学の研究者は2021年の論文で、「AI 分野のパラダイムシフトを促すだけでなく、AI で何が可能かという想像力を広げる」と、Transf
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
畳み込み+Attention=最強？最高性能を叩き出した画像認識モデル「CoAtNet」を解説！ - Qiita
1. CoAtNetの解説 1.1 畳み込みとSAの復習 コンピュータビジョンで用いられている大きな仕組みに畳み込みとSelf-Attention(=SA)があります。畳み込みではEfficientNet、SAではViTが有名ですね。EfficientNetについてはこちらの拙著記事、ViTについてはこちらの拙著記事をご参照ください。CoAtNetでは、この畳み込みとSAの良いとこ取りをしたブロックを作ることが一番の目的になっています。畳み込みとSAの式を復習しておきましょう。ここでは畳み込みの中でもDW(=Depthwise)畳み込みを取り扱います。そして、本論文では分かりやすさを優先しているのか、式の細かいところ(SAにおけるqkvの埋め込みなど)はあえて排除しているように見えるので、理解しやすいです。 1.1.1 畳み込みの式 本論文では、畳み込みの中でもDW(=Depthwise)
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 香港城市大学と米Microsoft Research、Microsoft Cloud+AIによる研究チームが開発した「Bringing Old Films Back to Life」は、劣化の激しい古い白黒映画を修復しカラー映像に変換する深層学習フレームワークだ。古い映像にある独特のフィルムノイズなどを修復し、色付けを行う。 古い映画は、現代の観客の心にも響き感動を与えるが、フィルムの経年劣化による解像度の低下やアーチファクトにストレスを抱える視聴者もいるだろう。 このような古い映画をよみがえらせるために、映画の修復技術が開発されてきたが、1コマずつ丹念に調べ、傷のレタッチ、ちらつきの修正
【論文解説】OpenAI GPT-4 を理解する
さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPT は GPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデルである GPT-4 がリリースされ、ChatGPT Plus で利用できるようになっています。（月額20$） それ以降も画像データを処理できるようになったり、個人の好みを記憶できるようになったりと色々なアップデータがあってこの先どうなるんだろうと楽しみになりますね。 今回は、もともとの GPT-4 についてしっかりと解説したいと思います。 ちょっとした対話であれば GPT-3.5 でも GPT-4 でもそこまで大きな差はないように思えますが、GPT-4 に情報抽出や分類問題などのタスクを解かせようとすると、GPT-4 の方がかなり精度が良くなっていることがわかります。 ですので、より複雑な利用
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
第1回Webインテリジェンスとインタラクションセミナー（いまさら訊けないシリーズ「言語処理技術」）での発表資料です。 https://www.sigwi2.org/next-sigRead less
統計数理シンポジウム 生成モデル 岡野原
株式会社 Preferred Networks 岡野原 大輔 @hillbig 生成モデルは世界を どのように理解しているのか 「統計的機械学習」の中核としての 統計数理シンポジウム 2023/05/25 アジェンダ • 現在の代表的な生成モデル 大規模言語モデル/ 拡散モデル • 自己教師あり学習 / メタ学習 • 未解決問題 岩波書店 2023 一般向け 関連書籍 岩波書店 2023 専門家向け 技術評論社 2021 2022 ディープラーニングの基礎知識 日経BP 2022 個別の深い話題 生成モデル x ~ p(X | C) X: 生成対象 C: 条件 • 生成モデル：対象ドメインのデータを生成できるようなモデル – テキスト、画像、動画、化合物、行動列 等 – 条件を通じて、制約、指示、対象ドメインなどを指定する （条件付き生成モデルの方が学習の面でも使いやすさの面 でも有利であ
この例に関する質問への回答を補足の項に記載しましたので、より良い理解のためにご参照ください。 1.3 モデル構造 トランスダクションモデル(ある文章を他の文章に変換するモデル(翻訳など))において主流なのは以下のようなエンコーダ-デコーダモデルである。 エンコーダ: 入力の文 $(x_1,\ldots,x_n)$ を $\boldsymbol{z}=(z_1,\ldots,z_n)$ へ変換 デコーダ: $\boldsymbol{z}$ から単語 $(y_1,\ldots,y_m)$ を出力。 ただし、1時刻に1単語のみで、前時刻のデコーダの出力を現時刻のデコーダの入力として使う。 Transformerは基本的な大枠はエンコーダ-デコーダモデルでself-attention層とPosition-wise全結合層を使用していることが特徴。 つまり、以下の3つ(+2つ)のことが分かればモデル
要点 T5（Text-To-Text Transfer Transformer、論文、日本語解説記事）の日本語モデル（事前学習済みモデル）を作り、公開しました。ご活用ください。 T5とは、様々な自然言語処理タスクの入出力がともにテキストになるよう問題形式を再定義することにより、一つの事前学習済みモデルを多様なタスク用に転移学習させることができる高い柔軟性を持ち、かつ、性能も優れている深層ニューラルネットワークです。 転移学習の例: 文章分類、文章要約、質問応答、対話応答、機械翻訳、含意関係認識、文の類似度計算、文法的妥当性判定、タイトル生成、スタイル変換、誤字修正、検索結果のリランキングなど（固有表現抽出などのシーケンスラベリングの実施例はない？） 日本語T5モデルはHugging Face Model Hubからダウンロードできます。 ベンチマークとして、ある分類問題について、既存のmT
対象読者 こんな人に向いてます Transformerを知らない人 私も全く知らずに調べました！なんにもわからない人の目線で書きます！ 想定される疑問を載せてます！ 多層パーセプトロンは知っているけど、それ以降出てきたいろんな用語についていけなくなった人 いつも知らない言葉を含んだ図ばかりで結局詳細がよくわからないって思っている人 図に式も載せて式を見ればやっていることがわかるようにしました！ 結局解説サイトを読んでもどう動くかわからない人 実際に軽いデータでTransformerを動かしてみたい人 軽く動かせるNotebookを用意してます！ ミスがあればご指摘くださると幸いです。 自然言語処理で大活躍している手法。 機械翻訳 テキスト要約 文章生成 文書カテゴリの分類 最近では、画像データやテーブルデータ（時系列データ）でも活躍しているようだ。 画像認識の大革命。AI界で話題爆発中の「
ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogleの共同研究チームが発表しました。 AttentionViz Docs https://catherinesyeh.github.io/attn-docs/ Transformerがどういう仕組みのアーキテクチャなのかについては、以下の記事を読むとよくわかります。 ChatGPTにも使われる機械学習モデル「Transformer」が自然な文章を生成する仕組みとは？ - GIGAZINE 自然言語処理をディープラ
大規模言語モデル
2023年度統計関連学会連合大会チュートリアルセッション 言語モデルと自然言語処理のフロンティア
OpenAIが開発した「ChatGPT」について、大きな可能性を期待する声がこのところ相次いでいる。ChatGPTは、人間の問いかけに応じて自然言語で対話ができる人工知能（AI）プログラムだ。 多くの人がChatGPTプログラムに新しさを感じ、唯一無二のものに違いないとして高い関心を抱いている。 だが、AIの研究者らは、そういう考えに異を唱えている。 「根底にある技術という点で、ChatGPTは特に革新的なものではない」と、MetaでチーフAIサイエンティストを務めるYann LeCun氏は米国時間1月19日、少数の報道関係者や企業幹部が参加した「Zoom」会議で語った。 LeCun氏は次のように述べた。「革新的なところは何もないが、世間ではそのように受け取られている」「まとめ方がうまいというだけであり、その点では見事だ」 同氏によれば、このようなデータ駆動型のAIシステムは、これまでにも
あまりに高精度なテキストを生成できるということで話題になった「GPT-3」のような最新の言語モデルは、言語処理能力を向上させる過程で自然に他者の心を推察する能力を獲得していたとする研究論文が発表されました。 [2302.02083] Theory of Mind May Have Spontaneously Emerged in Large Language Models https://arxiv.org/abs/2302.02083 Theory of Mind May Have Spontaneously Emerged in Large Language Models (PDFファイル)https://arxiv.org/ftp/arxiv/papers/2302/2302.02083.pdf ヒトが他者の心の状態、目的、意図、知識、信念、志向、疑念などを推測する心の機能を「心の理
ChatGPTと「ジェネレーティブAI戦争」の知られざる6つの事実 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
Microsoft（マイクロソフト）共同創業者のビル・ゲイツは、最近急激な発展を見せる人工知能（AI）について「2023年の最もホットな話題であると同時に、議論の的にもなる」と語っている。他のAI業界のリーダーたちもゲイツと同意見だ。 こうした状況を最もよく表しているのが、OpenAI（オープンAI）と同社が開発した対話型ロボットの「ChatGPT」だ。フォーブスの推計では、ChatGPTのユーザー数は、リリースから60日足らずで500万人を突破している。 ChatGPTは、ペンシルベニア大学ウォートン校の期末試験で「B」評価を獲得するほどの頭脳を持っており、間もなくマイクロソフトのOfficeをはじめ、数多くのビジネス向けアプリケーションに組み込まれる予定だ。 しかし、OpenAIのCEOのサム・アルトマンと社長のグレッグ・ブロックマンは、ChatGPTのリリースを棚上げすることを検討し
BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編 - ELYZA Tech Blog
はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Modeling RoBERTa (2019-07) Translation Language Modeling XLM (2019-01) Sequence-to-Sequence Masked Language Modeling T5 (2020-07) Permuted Language Modeling XLNet (2020-01) Denoising Auto Encoder BART (2019-10) Contras
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/ Read less
はじめに この記事では、巷で「この技術によりGPUが不要になるかもしれない、NVIDIAなどの半導体関係の株価が...」と話題になっている、BitNet b1.58についての論文を丁寧に解説します。このMicrosoftが先日発表したBitNet b1.58はそのエネルギー効率の凄まじさから2024年初めの大きな技術改革となるかもしれません！！ 筆者の見解 関する論文解説に入る前に、この技術に関する私の個人的な意見を述べたいと思います。 1bitの技術を用いることで達成されたその驚異的なエネルギー効率の高さは、既存の大規模言語モデル（LLM）とは一線を画しています。この技術が今後のAI技術の発展にどのように影響を与えるかについては以降の発表がとても楽しみです。 一方で、「GPUが不要になるかもしれない」という意見に関しては、ある程度の限定的な視点からの意見と言えます。BitNet b1.5
自然言語処理とVision-and-Language / A Tutorial on NLP & Vision-and-Language
2022年度人工知能学会全国大会（第36回） チュートリアル講演資料
ネットフリックスが、3分の短い動画作品をYouTubeで公開した。『犬と少年』と名付けられた、実験的な作品だ。 この作品、SNSの反響を中心として、ネットで少々炎上気味なところがある。実は、背景美術に｢AI｣を使っているからだ。 ｢人が描かないとは何事か｣｢適当なAIの絵でいいのか｣ そんな指摘が、海外を中心に巻き起こっている。 ただ、ネットフリックスがAIをアニメに取り入れる実験をした背景とその結果を聞くと、｢AIでコスト削減｣的なイメージとは、まったく違う狙いがあったことがわかった。
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
13億パラメータ日本語GPT-2を使ってみる
2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ... ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。 そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。 ということで今回は、この日本語GPT-2を触ってみたいと思います。 なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。 GPT ... 『【論文解説】OpenAI 「GPT」を理解する』 一番仕組みを詳しく解説しています。GPT-2 ... 『【論文解説】OpenAI 「G
絶体絶命の危機を迎えたグーグルのAI開発、遅れをとった理由 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
2015年にGoogle（グーグル）のCEOに就任したスンダー・ピチャイは、その翌年の開発者会議Google I/Oで、同社が「AIファースト」企業になると宣言したが、その2年前の2014年にAmazon（アマゾン）は音声アシスタント「Alexa（アレクサ）」を発表しグーグルを驚かせた。「世界の情報を整理する」というのがグーグルの使命であり、このようなサービスは本来、同社が行うべきものだった。 それから7年後の現在、グーグルは再び同様の立場に追い込まれているが、今回はさらに分が悪い。挑戦者はOpenAIというサンフランシスコの比較的小さなスタートアップで、アマゾンのような資金力のある巨大企業ではない。ChatGPTと呼ばれる同社の人工知能（AI）チャットボットは、考えうるほぼすべてのテーマについて、まるで人間が書いたかのような文章を生成するが、このボットはグーグルが数年前に開拓した技術的ブ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 最近、『Transformerによる自然言語処理』という書籍を買って、これまであまり追いかけていなかったTransformerについて仕事でカジュアルに使えるレベルまで色々と準備してみようと思い、その過程で見つけた色々な情報をまとめてみました。 以前、『BERTによる自然言語処理入門: Transformersを使った実践プログラミング』も買って、写経しながら試していたのですが、仕事であまり使う機会がなかったのであまり身につかなかったです。その反省も込めて、仕事でその
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience training neural networks. This implementation is missing tons of features on purpose to keep it as simple as p
自然言語処理の最先端Transformerを集合生成に応用する【逆転オセロニア】 | BLOG - DeNA Engineering
はじめまして。9月初旬より約半月にわたり、AIエンジニアコースのインターンに参加させていただいた清水と申します。大学院は情報系の専攻で、最近は幾何学的な深層学習に関する研究に取り組んでいます。その過程で言語的なタスクを出口に用いることも多く、副次的に深層学習を利用した自然言語処理にも多少明るかったりします。 題目にあるTransformerとは、そうした分野にてここ数年にわかに注目を集めている仕組みの名です。自然言語処理の最先端研究ではまず流用されないことなどない、いわば伝家の宝刀レベルのモデルといってよいでしょう。 本記事ではこれを『逆転オセロニア』というゲームのデッキ編成に特化させ、現行手法よりも表現力に富んだ編成システムを実現した経緯についてお話しできればと思います。『日進月歩で強力になっていく機械学習手法の恩恵に与りたいけれど、所望の問題設定にドンピシャな手法なんてそうそうなくて思
ヤフーにおける自然言語処理モデルBERTの利用
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所で自然言語処理の研究開発をしている柴田です。 私は自然言語処理の研究と、最新の自然言語処理技術を社内のサービスに適用できるようにする開発の両方を行っています。今日は後者の話をします。 この記事ではBERTというモデルに焦点をあて、BERTの概要と、社内でのBERTの利用、最後に具体例として検索クエリのカテゴリ分類について紹介します。 ※この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 1. BERTとは 2018年にGoogleからBERT (Bidirectional Encoder Representations
Metaが既存の生成AIにあるトークン制限をはるかに上回る100万トークン超のコンテンツ生成を可能にする次世代AIアーキテクチャ「Megabyte」を発表
MetaのAI研究チームが、100万トークンを超えるテキストや画像、オーディオ形式などのコンテンツを生成できる可能性を持つ「Megabyte(メガバイト)」のアーキテクチャを提唱しました。GPT-4やBardなどのAIモデルの基盤となっているアーキテクチャは「Transformer」ですが、MegabyteをAIモデルに採用することで、より高度で熟練したAIモデルの開発が可能になるとMetaは主張しています。 [2305.07185] MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers https://doi.org/10.48550/arXiv.2305.07185 Meta AI Unleashes Megabyte, a Revolutionary Scalable Model Archit
Transformer
2022年6月8日にSSII 2022のチュートリアル講演で使用 2023年2月2日に順天堂大学産学連携講座：AI技術とビジネス活用で使用 2017年に機械翻訳を対象として提案されたTransformerは、従来の畳込みや再帰を排して自己注意機構を活用したニューラルネットワークです。2019年頃からコンピュータビジョン分野でも急速に応用が進んでいて、より柔軟かつ高精度なネットワーク構造としての地位を確立しつつあります。本スライドでは、そんなTransformerの最前線を概説しています。基盤モデルやVision Transformer、MLP/CNNの逆襲についても取り扱っています。 ・そもそもTransformerって？ ・Transformer旋風と基盤モデル ・Transformerのノウハウ ・Transformerはオワコン？！ ・CNNはオワコン？！
1. はじめに Transformerは2017年に「Attention is all you need」という論文で発表され、自然言語処理界にブレイクスルーを巻き起こした深層学習モデルです。論文内では、英語→ドイツ語翻訳・英語→フランス語翻訳という二つの機械翻訳タスクによる性能評価が行われています。それまで最も高い精度を出すとされていたRNNベースの機械翻訳と比較して、 精度(Bleuスコア) 訓練にかかるコストの少なさ という両方の面で、Transformerはそれらの性能を上回りました。以降、Transformerをベースとした様々なモデルが提案されています。その例としては、BERT,XLNet,GPT-3といった近年のSoTAとされているモデルが挙げられます。 ここで、「Attention is all you need」内に掲載されているTransformerの構造の図を見てみま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2022年の深層学習ハイライト - Qiita
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
環境音認識のコンペティションDCASE2020で世界1位を獲得しました
AIプロ集団から見た「ChatGPTの歴史」 たった5年で何が起こったのか
自然言語処理の王様「BERT」の論文を徹底解説 - Qiita
古い白黒映画を“昨日撮影したかのように”AIが修復 フィルムノイズを除去しカラー
深層学習界の大前提Transformerの論文解説！ - Qiita
【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita
図で理解するTransformer - Qiita
ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」
対話AI「ChatGPT」にそれほどの革新性はない--Metaのチーフサイエンティスト
「GPT-3」などの最新言語モデルが自然に他者の心を推察する能力である「心の理論」を獲得していたという研究論文
Transformer メタサーベイ
【論文丁寧解説】BitNet b1.58とは一体何者なのか - Qiita
Netflixが｢画像生成AIでアニメ制作｣してわかったAIの限界…『犬と少年』で挑戦したもの
仕事用にTransformer/BERTの情報をまとめる – かものはしの分析ブログ
GPT in 60 Lines of NumPy | Jay Mody
Python(PyTorch)で自作して理解するTransformer