カラクリの700億パラメーターLLM、国産モデルの中で最高性能を獲得 | KARAKURI
~「AWS LLM開発支援プログラム」で開発、近日公開予定~ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、アマゾン ウェブ サービス ジャパン合同会社（以下、AWSジャパン）の「AWS LLM 開発支援プログラム」を活用し、2023年9月より国内最大規模となる700億パラメーターのLLMを開発いたしました。2024年1月18日に、LLMのベンチマークテスト「Japanese MT-Bench」で性能評価を実施し、国産LLMモデルとして最高性能（※）の評価が採点されました。世界市場での競争力を持った国産AIモデルの構築を加速するため、本モデルを公開可能な形に修正して、近日中に公開する予定です。 ※ 「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。2024年1月18日に性能
簡単な製品設計はAIにお任せの時代に、オートデスクが大規模モデル開発
米Autodesk（オートデスク）は、設計作業を自動化する人工知能（AI）の「大規模製品モデル（Large Product Model）」を開発する取り組みを開始した。2023年7月19日に同社の製造業担当シニアディレクターのデトレフ・ライヒネーダー（Detlev Reicheneder）氏が東京都内で会見し、明らかにした。大規模製品モデルは製品の3D形状や設計技術、生産技術、技術上の問題の解決法といった情報を学習したモデルという。 同社は既に、一定の制約条件と目的のもとで多数の設計案を自動生成する「ジェネレーティブ・デザイン」の機能を製品化している。しかし現状の機能では、ユーザーが制約条件などを細部の数値に置き換えて指定する必要がある。これに対して大規模製品モデルでは、設計概念を直接扱えるようにするとともに、現状よりも多様な設計案を生成できる機能の実現を目指す。 大規模言語モデルが文章や
Eureka - LLMで報酬を自動生成してロボットを学習させるAIエージェント｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Eureka! NVIDIA Research Breakthrough Puts New Spin on Robot Learning 1. Eureka「NVIDIA Research」が開発した、ロボットに複雑なスキルを学習させることができる新しいAI エージェントは、ロボットハンドにペン回しを教えることができました。 これは、ロボットを学習させるための報酬アルゴリズムを自律的に作成する 「Eureka」のおかげで、ロボットが達成できるようになった30近くのタスクのうちの1つになります。引き出しやキャビネットを開ける、ボールを投げる、キャッチする、ハサミを使うなどの作業も覚えました。 公開された「Eureka」の研究には、論文とプロジェクトの AI アルゴリズムが含まれており、開発者は強化学習研究用の物理シミュレーション リファレン
ビジネスのドメインや最新情報に対応した130億パラメータの日本語LLMの公開
Research部門の近江崇宏です。 ストックマークではビジネスのドメインや最新情報（2023年9月まで）に対応した130億パラメータの大規模言語モデル（LLM）を商用利用も可能なライセンスで公開しました。 モデルはHuggingface Hubからダウンロードいただけます。 https://huggingface.co/stockmark/stockmark-13b このモデルは、合計2200億トークンの日本語のテキストデータにより事前学習が行われました。 一般に事前学習でよく使われるWikipediaやCommonCrawl由来のコーパスだけではなく、当社が独自に収集しているビジネスに関連するWebページや特許などのデータも用いました。 そのため、既存のモデルに比べると、最新の情報やビジネスのドメインに対応したようなモデルになっております。 実際に、ビジネスに関連する知識を問うタスクで
[Ignite 2023] Azure AI アップデートまとめ
はじめに Microsoft Ignite 2023でのAzure AIのアップデートをまとめました。 まずは下記ブログの翻訳を中心にしています（ほぼ翻訳です）。 Ignite 2023: What’s new in Azure AI Platforms – Charting the Future with Innovative AI and ML - Microsoft Community Hub 主要なアップデート Azure AI Studioのパブリックプレビュー サティヤ・ナデラの基調講演で、Azure AI Studioのパブリックプレビューが発表されました。これは、生成型AIアプリケーションとコパイロット開発を簡素化する最先端のプラットフォームです。Azure AI Studioは、急速に成長しているモデルカタログ、ツール、サービスをシームレスに統合し、統一された開発体験を提
![[Ignite 2023] Azure AI アップデートまとめ](https://cdn-ak-scissors.b.st-hatena.com/image/square/573822077090aae9b12186c6fbc1ea3d721c9349/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--F2DUXkkA--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BIgnite%2525202023%25255D%252520Azure%252520AI%252520%2525E3%252582%2525A2%2525E3%252583%252583%2525E3%252583%252597%2525E3%252583%252587%2525E3%252583%2525BC%2525E3%252583%252588%2525E3%252581%2525BE%2525E3%252581%2525A8%2525E3%252582%252581%252Cw_1010%252Cx_90%252Cy_100%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3AMicrosoft%252520%252528%2525E6%25259C%252589%2525E5%2525BF%252597%252529%252Cx_220%252Cy_160%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AShohei%252520N.%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2MzZDNiN2I3OGYuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzEzNmNkNzdkYWMuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
LLMOps：基盤モデルに基づくアプリケーション開発のワークフロー｜Weights & Biases Japan
Weights & Biases のnoteをフォローしてください大規模言語モデル（LLM）の可能性を引き出し、その機能を拡張してアプリケーションを開発・提供するためのワークフローは、どのようなものなのでしょうか。私たちはここ数ヶ月、様々な場所でこの課題を耳にしてきました。 これまで機械学習モデルの開発と運用を統合するMLOps（Machine Learning Operations）のワークフローの構築において最も信頼されてきたWeights & Biasesは、OpenAIやStability AIなど、生成AIの開発で最先端をいく企業に活用されてきました。 この経験をもとに、本稿ではMLOpsのベストプラクティスをレビューし、この概念がどのようにLLMOpsに適用されていくのか、現時点のベストプラクティスを示していきます。 特にLLMOpsにおいては、多くの場合社外で開発された基盤モ
四畳半のオフィスで70億パラメータのLLMを事前学習した話｜Lightblue
はじめにこんにちは、Lightblueの樋口です。 大規模言語モデル(LLM)は大変注目を集めていますが、日本語で事前学習された公開モデルは限定的です。LLMの事前学習は大きなコストがかかるとされており、公開されているモデルは海外のビッグテックが中心で、国内では2件しか例がありません。 ■サイバーエージェント OpenCALM GPT (small, medium, large, 1.4b, 2.7b, 6.8b) 日本語 Wikipedia + Jpanese mC4+ Japanese CC-100 ■rinna rinna GPT GPT (xsmall, small, medium, 1b, neox-small, neox-3.6b) 日本語 Wikipedia + Japanese CC-100 (1b 以降のモデルではさらに Japanese mC4 を追加) その他、日本語
LLM開発のために200万円以上無駄にしたエンジニアの話｜sonodaatom
はじめにこんにちは、Lightblueの園田です。 四畳半のオフィスで70億パラメータのLLMを事前学習した話ではエンジニアの樋口さんがlightblue/japanese-mpt-7bの開発・性能評価について報告しました。 本記事では、四畳半のオフィスで70億パラメータのLLMを事前学習した話で語りきれなかったしくじりも含めた開発裏話について紹介します。 LLM開発に必要なリソース一般的に、LLMの開発にはA100やH100といった最新の高性能のGPUが使われます。 本日公開されたLlama2の70Bモデルでは、A100を1,720,320時間分利用し学習されています。 このようなリソースはGPUボードの費用だけでなく、電気代も高額になることから、LLMの開発には資本力が必要とされています。 H100はパブリッククラウドでほとんど提供されていないことから、LightblueでもA100を
「LLM」を活用したプロダクト開発に必要な能力とは何か “機械学習の民主化”でますます注目される「MLPdM」の重要性
大規模言語モデル（LLM）を、実際にプロダクトや実務に役立つかたちで利用している各社が見た使いどころや、実践の上での工夫について学び合うためのイベント第二弾。今回のテーマは「大規模言語モデルがつくる新しい顧客体験」。ここで登壇したのは、株式会社LayerXの松村優也氏。機械学習の民主化とMLPdMの重要性について発表しました。 LayerX社・機械学習チームのマネージャーの松村優也氏 松村優也氏：それでは、LayerXの松村優也が「機械学習エンジニアから見るプロダクト開発におけるLLM」を副題として、「機械学習の民主化とMLPdMの重要性」というタイトルで10分お話しします。お願いします。 簡単な自己紹介ですが、あらためて、松村です。（スライドの）右上の黒いアイコンでよくSNSをやっています。「Twitter」などのIDはご覧のとおりです。 バックグラウンド的には、もともと京都大学で情報検
サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。 ■最大68億パラメータの日本語LLM（大規模言語モデル）の公開について こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので
ChatGPTのようなモデルを高速生成するツール、Microsoftが開発 「既存技術の15倍以上」うたう
米Microsoftは4月12日、ChatGPTのようなモデルを生成できるツール「DeepSpeed-Chat」を公開した。GPU1台で100億以上のパラメータを持つモデルの学習ができる上、学習速度も既存技術の15倍以上としている。 DeepSpeed-ChatはChatGPTでも採用されている学習手法「RLHF」を効率的に実行するためのツール。これまでは高価なGPUを大量に使う必要があったが、DeepSpeed-Chatは少ないGPUで効率的に学習ができる。 例えば、クラウド上でGPU「A100-80GB x8」を使って大規模言語モデル「OPT-B13」を訓練する場合、9時間程度で完了し、コストも290ドル程度という。複数台のGPUを使えば1000億パラメータ規模のモデルの学習にも対応する。 関連記事 ChatGPTが職務経歴書を作成するサービス続々 エンジニア向けから看護師まで ファイ
ほしいアプリを入力すると、ChatGPTが爆速で作るサービス「GPTApp」
ほしいWebアプリの説明を書くだけで、ChatGPTが作って即Web公開してくれるサービス「GPTApp」を、ゲームアプリの企画・開発を手掛けるミリオンダウト代表のTakayuki Fukudaさんが公開した。 アプリのイメージを考えてフォームにテキストで入力すると、ChatGPT（GPT-3.5）がコードを出力してWebに実装する。開発にかかるのは約30秒と“爆速”。Web単体で動く簡単なアプリのみ開発できる。 うまくいけばきちんと動くが、失敗することも多い。アプリ完成画面で「ChatGPTの返信を見る」をクリックすると、ChatGPTが書いたコードも表示される。 GETAppはFukudaさんの個人開発だが、経営するミリオンダウトでは、ChatGPTなどのAIを使ったアプリを開発しているという。 関連記事 LINEでChatGPTと会話「AIチャットくん」100万ユーザー・2000万メ
歌声から伴奏を生成するAI「SingSong」 Googleが技術開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告である。入力した歌声に合わせてインストゥルメンタル音楽（インスト）を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。 SingSongは、音源分離とオーディオ生成の2つのモデルから構成される。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し
ChatGPTのOSS代替「Open Assistant」とは？ “ただの複製”ではない理由
関連キーワード コミュニケーション オープンソースソフトウェア（OSS）の「Open Assistant」は、ビジネスユーザーおよび開発者向けの「ChatGPT」の代替を狙う。ChatGPTは、人工知能（AI）ベンダーOpenAIが開発した、自然なやりとりをするチャットbotだ。 「Open Assistant」とは？ “OSS版ChatGPT”で終わらない訳 併せて読みたいお薦め記事 「ChatGPT」は開発者を不要にするか 衝撃の「ChatGPT」 その可能性と“限界”とは？ ChatGPTが宣告 「プログラマーはコーディングさえできればよい」時代の終わり 「Open Assistantによって、言語におけるイノベーションを生み出したい」と、Open Assistantの開発チームは考えている。具体的には自然言語を使って、人とコンピュータのスムーズな対話の実現を目指す。2022年に登場
システムやワークフローに機械学習を組み込むには？『現場で使える！機械学習システム構築実践ガイド』冒頭を公開
機械学習を用いてビジネスや生活の課題を解決するには、その課題に機械学習が本当に必要なのか、そのほかにどんな要素や技術を組み合わせればいいのかという課題解決のシナリオを設計することが重要です。澁井雄介さんによる書籍『現場で使える！機械学習システム構築実践ガイド』（翔泳社）では、需要予測などのビジネスで発生する課題のシナリオにもとづいてシステムやワークフローに機械学習を組み込む手法が解説されています。今回は本書から「Chapter 1 課題、チーム、システム」の冒頭部分を公開しますので、書籍内容を知る参考にしていただければと思います。 本記事は『現場で使える！機械学習システム構築実践ガイド デザインパターンを利用した最適な設計・構築・運用手法』の「Chapter 1 課題、チーム、システム」から抜粋したものです。掲載にあたって一部を編集しています。 ソフトウェア技術によってビジネス課題を解決す
TypeScriptを効率的に独習しよう！ 無料で学べる「TypeScript Deep Dive」日本語版の翻訳者が学習法を解説
TypeScriptは近年JavaScriptに代わってWebフロントエンド開発で利用されているプログラミング言語です。TypeScriptは開発生産性および開発者体験に優れていることから、開発現場で広く採用されています。TypeScriptを学ぶことは、今後のWebフロントエンド開発では、ほぼ必須といって良いでしょう。この記事ではTypeScriptを使うメリット、ならびに「TypeScript Deep Dive 日本語版」を活用してTypeScriptを短期間で学習する方法を紹介します。 はじめに 筆者はSIer出身のITエンジニアです。ゲーム開発会社などを経由して現在は一般企業でエンジニアとして勤務しています。はじめてTypeScriptの重要さを知ったのは、2018年ごろに「TypeScript Deep Dive」を読んだときでした。そして、今後必ず多くの人に役立つと考え、オリ
日本語特化の画像生成AI「Japanese Stable Diffusion」がオープンソースで公開
rinna株式会社が、日本語に特化した画像生成AIモデル「Japanese Stable Diffusion」を9月9日（金）に発表した。 この「Japanese Stable Diffusion」は、画像生成AIモデル「Stable Diffusion」に、約1億枚の日本語キャプション付き画像を追加学習させることで開発されたもの。 オープンソースコミュニティ・Hugging FaceとGitHubで公開されている。 【画像】「Japanese Stable Diffusion」で生成された画像（6枚） オープンソースで公開 画像生成AI「Stable Diffusion」 テキストから画像生成「DreamStudio」の使い方 商用利用も可能な次世代AI 「Midjourney」や「Dream by WOMBO」をはじめ、昨今SNSを賑わせている画像生成系AIサービス。 8月22日、no
［書評］日本語初の「モバイルアプリ開発者向け」機械学習・ディープラーニング解説書 - その後のその後
「iPhone/Androidアプリ開発者のための機械学習・深層学習 実践入門」をご恵贈いただきました。機械学習関連の技術書は数あれど、モバイルアプリ開発者向けを謳ったものは日本語では初だと思います。 iPhone/Androidアプリ開発者のための機械学習・深層学習 実践入門posted with amazlet at 19.01.24布留川 英一 ボーンデジタル (2019-01-26) 売り上げランキング: 171,507 Amazon.co.jpで詳細を見る モバイル向けというとCore ML/ML Kit等の学習済みモデルを活用するフレームワークやツール群を想起しますが、本書ではCreate ML、Turi Create、TensorFlow、Cloud AutoMLといったモデル作成側についても解説されています。 また目次を見るとわかりますが、機械学習／ディープラーニングの定番
機械学習システム開発や統計分析を仕事にしたい人にオススメの書籍初級5冊＆中級10冊＋テーマ別9冊（2019年1月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以前の書籍リスト記事のアップデートです。 機械学習エンジニアやデータサイエンティストとして（もしくはそうではない職名であったとしても）機械学習システム開発や統計分析を仕事にしたい人なら、最低限これだけは読んでおいて損はないだろうという書籍を初級向け5冊、中級向け10冊選定しています。ただし、以前とは若干異なり「仕事にする」イコール「プロフェッショナルを目指す」ということで、特に初級向けリストを若干レベルアップさせています。中には初学者でも結構読みこなすのが難しい本だけになっているかもしれませんが、中級向けリストに進む上でどうしてもこれだけは読破して欲しいという願望も込めました、ということで。 完全にお馴染みのネタなので特に説明することはないかと思いますが、言うまでもなく以下のリストは完全なる僕個人の独断と偏見で、最近出版されたり自分で読んだ本
Preferred Networks における研究活動 - Preferred Networks Research & Development
こんにちは、新しく執行役員兼 Chief Research Strategist に就任した秋葉です。就任の挨拶を兼ねて、PFN における研究活動に関する考えを共有したいと思います。 PFN における研究とは何か？ 何が研究であり何が研究でないかという境界を引くのは非常に難しく、またそれを積極的に行う意味もありません。研究とは「研ぎ澄まし究めること」を語義とし、一般に、物事について深く調査・考察を行い事実を解明したり発明を行ったりすることを指します。 PFN では挑戦的であり不確実性の高いプロジェクトが大部分を占めており、ほぼ全てのプロジェクトが少なからず研究的側面を伴います。深層学習関連のコア技術の研究開発は勿論、その応用に関してもデータやタスクに応じた適切な手法の選択や非自明な工夫がなければ上手くいかないことが殆どです。また、ロボティクス、コンピュータビジョン、自然言語処理等のような多
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
