2024年3月版のDatabricksのシステムアーキテクチャについて説明します。
![[2024年3月版] Databricksのシステムアーキテクチャ](https://cdn-ak-scissors.b.st-hatena.com/image/square/cae49d5b931b91fb94c634fb5ad975665e3d8580/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F26ef4d8a0d294858afd1af47c099ee64%2Fslide_0.jpg%3F29708979)
[2024年3月版] Databricksのシステムアーキテクチャ
2024年3月版のDatabricksのシステムアーキテクチャについて説明します。
Databricks におけるデータエンジニアリング
Databricksにおけるデータエンジニアリングについて説明します。
Sakana AI
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme
36億パラメータの日本語言語モデルを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
最近の話題にも詳しい14億パラメータの日本語LLMの公開
Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ（2023年6月まで）も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
【Streamlitよりいいかも？】機械学習系のデモアプリ作成に最適！Gradio解説 - 学習する天然ニューラルネット
はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには？ 認証認可（というか認可） その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G
データ活用の強い味方「Databricks」で実現するデータ基盤構築・活用ポイント - Ｓｋｙ Presents. -｜IT勉強会・イベントならTECH PLAY［テックプレイ］
イベント内容 概要 ・データが複数の部署やシステムに分散されていて、保存先がバラバラ ・既存のDWH（データウェアハウス）のコストがかかりすぎている ・データのガバナンスがきいていない、品質が低い など...これらはDX推進をする上で直面する課題であり、現場のエンジニアやサイエンティストは悩み続けていると思います。 本勉強会では、そんなお悩みを抱えるみなさんに「Databricks」という一つの解決策を提示します。 DatabricksはDWHの分析力とデータレイクの拡張性を持ち合わせた新しいアーキテクチャで、データ取り込み/前処理/分析などの工程をオールインワン環境で実現できたり、 リアルタイムでの処理を可能にします。 今回はデータ/AIのリードカンパニーであるデータブリックス ジャパン社のシニアソリューションアーキテクトである弥生氏より、 Databricks活用のポイントや活用事例、
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう
百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
レトロゲームエンジン「Pyxel」でドラクエ1つくってみた｜frenchbread
Pyxel（ピクセル）というPython用レトロゲームエンジンがあります。 画面サイズ256x256で発色数は16色、サウンドはシンプルな波形の音色を最大4音まで発音可能、といったシンプルな仕様で、扱いやすいPythonのコードを用いた低学習コストのゲーム開発ができます。 最近になってWebアプリ化できるようになったため、開発した作品は誰にでも気軽にプレイしてもらえるようになりました。すごいですね。 （2023/6/10）以前にWeb版を公開していましたが、現在、公開は取り下げています。 以下、この記事の内容はプレイいただく方向けの説明となります。 本来の私の目的は、ゲームそのものをプレイしてほしいというより、作り手（or 作り手になりたい方）向けに情報・ノウハウ共有することなのですが、長くなるので別記事として順次書いていきます。 Pyxel版の特徴外見はFC版ドラクエ1とはいえ令和時代の
無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita
概要 大規模言語モデル Dolly 2.0 を試してみました。 公式ブログ に詳しく書いてありますが、 Alpaca、Koala、GPT4All、Vicuna など最近話題のモデルたちは 商用利用 にハードルがあったが、Dolly 2.0 は自社で準備した 15000件のデータで学習させたデータを使っているためそのハードルがなくなったようです。 ありがたいですね。さっそく試してみました。 2023/04/18 コード更新 Dolly 2.0モデルの独自パイプライン処理が本稿公開時(2023/04/13)から変更されているため、それに対応するよう本稿ソースコードも修正しました。 該当コード（変更後）
無料で商用利用も可能なオープンソースの大規模言語モデル「Dolly 2.0」をDatabricksが発表
2023年3月に大規模言語モデル(LLM)「Dolly」を公開したDatabricksが、わずか2週間で、初のオープンソースの命令追従型LLMだという「Dolly 2.0」を発表しました。 Free Dolly: Introducing the World's First Open and Commercially Viable Instruction-Tuned LLM - The Databricks Blog https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm Databricks releases Dolly 2.0, the first open, instruction-following LLM for commercial
ChatGPTを探す旅に出させていただきます | DevelopersIO
文書の数が多い場合、単語の種類(ボキャブラリ)も多くなり単語の次元が大幅に増えていきます。 一方、一つの文書に含まれる単語の数には限りがあるため、これは全体として疎行列になります。 また、単語が各次元として扱われますが、文書ごとの出現順序など、単語間での関連性を示す情報は抜け落ちたものとなります。 それに対して低次元(通常数百次元程度)の密な行列で単語の意味を定義する方法があります。 これは、「分散表現」や「埋め込み表現」と言われるものになっております。 この表現を獲得するため手法は様々なものがありますが、ここではWord2Vecを紹介します。 元論文 : Efficient Estimation of Word Representations in Vector Space 具体的な実装についての解説 : word2vec Parameter Learning Explained Wor
Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する - Qiita
サマリー 我々は、誰でも歴史のあるオフザシェルフのオープンソース大規模言語モデル(LLM)を活用し、高品質トレーニングデータを用いて単体のマシンで30分トレーニングすることで、魔法のようなChatGPTのように指示に従う能力を提供できることを説明します。驚くべきことに、指示への追従には最新かつ最大のモデルは必要ないように見えています: GPT-3の1750億のパラメーターと比較して、我々のモデルは60億のパラメーターです。我々のモデル(Dolly)のコードをオープンソース化し、Databricks上でどのように再作成できるのかを示します。DollyのようなモデルによってLLMの民主化の助けとなって、限られた数社のみが購入できるような何かを、どの企業でも所有し、自身の製品を改善するためにカスタマイズできるようなコモディティになることを信じています。 背景 プロプライエタリの指示追従モデルであ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMの現在 - Speaker Deck
hiroshima(高精細)
Araneid | オモコロ
ChatGPT の概説 - Software Engineer じゃない方向け -
