講演概要ツール・環境 現在 (GP: General Purpose) GPUは、特にその高い演算性能から、AI分野における最も有力な実行プラットフォームとなっている。その高い演算性能は、AI分野で特徴的に現れるテンソル計算に強く適応した結果得られるものである。GPUが利用するテンソル計算の性質には、データ並列性・規則性の高さと計算精度に対する要求の低さ、演算強度の高さなどがある。本講演では、GPUの基礎として、GPUそれらの性質をどのように利用しているかを、CPUとの比較という観点から概説する。 講演映像

Low Rank Adapation(LoRA)はAIへの追加学習を少ない計算量で行うためのモデルです。このLoRAを使って、事前トレーニングされた大規模言語モデルに低コストかつ効率的にファインチューニング(微調整)を行えるシステム「Punica」を、ワシントン大学とデューク大学の研究チームが公開しました。 GitHub - punica-ai/punica: Serving multiple LoRA finetuned LLM as one https://github.com/punica-ai/punica [2310.18547] Punica: Multi-Tenant LoRA Serving https://arxiv.org/abs/2310.18547 企業や開発者が特定のタスクに適した大規模言語モデルを用意したい場合、事前学習済みの大規模言語モデルをファインチューニン

GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \ Decomposing Language Models Into Understandable Components https://www.anthropic.com/index/decomposing-language-models-into-understandable-components 大規模言語モデルは多数のニューロンが接続されたニューラルネットワークで、ルールに基づいてプログラミングされるのではなく、多数のデータを元にトレーニングを行うことでタス

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

大規模言語モデルの「創発的」能力（Emergent Abilities of Large Language Models）とは？：AI・機械学習の用語辞典 用語「創発」について説明。大規模言語モデルの計算量やパラメーター数が非常に大きくなると、“あるところ”を境に、突然、新しい能力を獲得して性能が大きく向上する現象を指す。 連載目次 用語解説 大規模言語モデルにおける創発的能力（Emergent Abilities of Large Language Models、あるいは単に「創発」）とは、大規模言語モデルの計算（Compute）量（もしくはパラメーター数＝モデルのサイズ）が非常に大きくなると、“あるところ”を境に、突然、（新しい能力を獲得して）性能が大きく向上する現象のことである（図1）。なお創発的能力は、元の論文で以下のように定義されている。 ある能力が、より小さなモデルには存在しな

（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊

数式処理システムのMathematicaや質問応答システムのWolfram Alphaを開発したStephen Wolfram氏が「What Is ChatGPT Doing … and Why Does It Work?」（ChatGPTは何をしていて、なぜそれがうまく機能するのか？）と題するブログ記事を発表しました。 この記事は、とても分かりやすい言葉で、沢山例を挙げて詳しく説明していますので、ChatGPTの仕組みを理解したいと思っている人には必読の記事だと思います。 ブラウザの翻訳機能を利用して日本語で読むこともできますが、易しい言葉で書かれた文章であるにも関わらず、これを完全に理解するのは簡単なことではありません。 前半は大規模言語モデル、ニューラルネットワーク、Transformerなどの仕組みについて相当詳しく説明しており、後半はChatGPTに関するWolfram氏独自の解

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 連載目次 用語解説 物理学や生物学など幾つかの分野に「スケーリング則」（Scaling Laws）という用語があるが、本稿では人工知能／機械学習分野の自然言語処理におけるスケーリング則について紹介する。 ニューラル言語モデル（＝ニューラルネットワークの自然言語処理モデル）における「スケーリング則（Scaling Laws for Neural Language Models）」とは、自然言語処理モデルのパラメーター数（＝モデルのサイズ）や、データセットのサ

Googleは5月10日（日本時間5月11日未明）、米カリフォルニア州マウンテンビューで開催中のイベント「Google I/O 2023」で、最新のAI基盤モデル「PaLM 2」を発表しました。 PaLM 2は規模の異なるGecko、Otter、Bison、Unicornの4種類のモデルが用意され、いちばん小さな規模のGeckoはモバイルデバイスでの利用も可能で、オフラインでも動作可能。

JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～ 2020年のGPT-3の衝撃以来、生成AIの進展は従来のディープラーニング技術の進展とは一線を画す、破壊的な変化となっています。 2022年11月末に発表されたChatGPTでは日本語が極めて自然な形で使えるようになり、 日本でも急激に関心が高まっています。 本イベントでは、「生成AIの衝撃」セミナーでは大注目のChatGPTを中心に、「何がすごいのか」、「どうやって出来ているのか」、「いま世界で何が起きているのか」、「日本は大丈夫なのか」、「何が変わるのか」、等々、様々な観点から有識者にお話しを伺います。 連日報道されるニュースなどを見て、下記の様に感じていた方は必見です！ 「今の動向をどう見たら良いのか、分からない」 「ChatGPTに代表される、生成AIの仕組みなどについて知りたい」 「今、話

DALL·E 2 is an AI system that can create realistic images and art from a description in natural language.

We’re introducing a neural network called CLIP which efficiently learns visual concepts from natural language supervision. CLIP can be applied to any visual classification benchmark by simply providing the names of the visual categories to be recognized, similar to the “zero-shot” capabilities of GPT-2 and GPT-3. Although deep learning has revolutionized computer vision, current approaches have se