10bクラスの大規模言語モデルが､ファインチューニングを経てタスクを解けるようになるメカニズムを探るメモ｜Kan Hatakeyama
はじめに最近は大規模言語モデルのファインチューニングにハマっています｡ 10bクラスの言語モデルが､どのようなメカニズムを通してユーザーの質問に回答できるようになるかについて､調べています｡ 最近の検討で生じた仮説は､「10bクラスのモデルは､実は質問文を殆ど理解できていない」というものです｡ 本記事ではどのようなデータを学習したときに､llm-jp-evalという評価セットに含まれるJCommonsenseQAというタスクを解けるようになるか､果たして､10bクラスのモデルは何を「理解」している/いないのか､そして､指示を理解できるようになるための必要な訓練量について､調べて行きたいと思います｡ コードはこちら ※ これは正確な学術的検証ではありませんので､ご了承ください｡きちっとやってくれる方や､良い参考文献をご存知の方がいたら､教えていただけると､大変助かります｡ 今回のタスクJCo
まず、近年主流のディープニューラルネットワーク（DNN）を利用したAIは、機械学習によって特定のタスクに特化した「学習モデル」が作られ、そこから用途に応じて学習を重ねてモデルが分化するような形で応用範囲を広げてきました。 こうしたAIはある種の「タスク特化型のAI」として特定のタスクには極めて優秀な成績を収めますが、それ以外のタスクに関してはうまく働きません。画像モデルのAIは画像認識で、音声モデルは音声認識のように、綺麗に使い分けられていました。 それに対して「1つのAIに画像モデルと音声モデルを組み込んだAI」のような従来は単体で使われてきたAIを組み合わせたAIが登場するようになりました。広義ではこのようなAIもコンポジットAIと呼べますが、このような「DNNの学習モデルを複合したAI」というのはそれほど珍しくはありません。巨大なニューラルネットワークの中に複数種類のモデルが混ざって
2023/8/7バーチャルヒューマンで蘇ったダンとアンヌの<声>を再現！最先端テクノロジーによる革新的クリエイティブ推進プロジェクト「TSUBURAYA IMAGINEERING」が音声生成AIを開発 円谷プロダクションが最先端のテクノロジーにより革新的なクリエイティブを推進するプロジェクト「TSUBURAYA IMAGINIEERING」（読み：ツブラヤ イマジニアリング）は、1967年放送の『ウルトラセブン』の主人公「モロボシ・ダン」（演・森次晃嗣）とヒロインであり、ウルトラ警備隊の隊員「友里アンヌ」（演・ひし美ゆり子）の「バーチャルヒューマン」を開発。このたび、当時のモロボシ・ダンとアンヌ隊員の音声を再現可能な“音声生成AI”を新たに開発しました。 今回開発したダンとアンヌのAI音声は、本日PV解禁となった「ウルトラセブン IF Story『55年前の未来』」公式コンテンツとして展開
Stable Diffusionを利用しテキストから画像を生成できるMacアプリ「Amazing AI」が、A17 Proチップを搭載したiPhone 15 ProやM1チップ以降のiPadに対応。
Stable Diffusionを利用しテキストから画像を生成できるMacアプリ「Amazing AI」が、A17 Proチップを搭載したiPhone 15 ProやM1チップ以降のiPadに対応しています。詳細は以下から。 Amazing AIは2022年にSindre Sorhusさんが公開したApple Silicon Mac用のStable Diffusionクライアントで、ディープラーニングを利用しオフラインでテキストから画像(text-to-image)を生成することができますが、このAmazing AIアプリがiPhoneやiPadに対応しています。 Amazing AIアプリが利用できるようになったのは、AppleのA17 Proチップを搭載したiPhone 15 ProとiPhone 15 Pro Max、そしてApple Silicon M1以降を搭載したiPadで、M
★AIDB会員限定Discordを開設いたしました！ 会員登録／ログインの上、マイページをご覧ください。 今年はGenerative Adversarial Networks（GAN）が誕生してから10年目です。この10年間で、GANは画像生成からテキスト生成、さらには音声合成に至るまで、多くの進歩を遂げてきました。この記事では、その歴史的な進化を振り返り、GANがどのように多様な分野で高度な問題解決能力を持つようになったかを確認します。 GANの進化は速く、毎年新しい技術やアプローチが開発されています。さまざまな分野での問題解決に貢献しており、その影響は広範囲にわたっています。 参照論文情報 タイトル：Ten Years of Generative Adversarial Nets (GANs): A survey of the state-of-the-art 著者：Tanujit C
世界平均を超えるようになった“日本の生成AI活用度” 日進月歩の技術におけるアジャイルガバナンスの必要性 生成AIの衝撃 ～ アジャイルガバナンスの必要性と3ディメンジョン・モデルによる進化へ #1/4 日本は生成AIの活用がとんでもなく進んでいる 森正弥氏：森正弥です。「生成AIの衝撃 アジャイルガバナンスの必要性と3ディメンジョンモデルによる進化」と題して、話題提供をできればと思います。 今ちょっと気づいたんですけど、ストリーミング用のカメラがありますね？私は普通にこう歩きながら話すんですけど（笑）。そうすると、ナチュラルにフレームアウトしていく感じになるので、どうしようかなとちょっと思っています。 生成AI、「ChatGPT」の衝撃はすごいですよね。「自分のコーディングやプログラミング、あるいは趣味でのいろんなデザインとか、クリエイティブな仕事とか作業でもう使っているよ」という方は手
【早くも３刷】『ChatGPTの頭の中』著者インタビュー スティーヴン・ウルフラム×安野貴博「AI、SF、そしてルリアド」｜Hayakawa Books & Magazines（β）
【早くも３刷】『ChatGPTの頭の中』著者インタビュー スティーヴン・ウルフラム×安野貴博「AI、SF、そしてルリアド」 ChatGPTの開発元であるOpenAIのCEO、サム・アルトマンが「最高の解説書」と絶賛した『ChatGPTの頭の中』（スティーヴン・ウルフラム、高橋聡訳、稲葉通将監訳、早川書房）。本書は近年急速に関心が高まっているChatGPTや生成AIについて、その基礎的な技術や今後の可能性を理解するにあたって最適な一冊。発売直後よりご好評をいただきまして、現在３刷を準備中です。 本記事では『S-Fマガジン』2023年12月号（10/25発売）に掲載予定、SF作家・安野貴博さんによる、著者スティーヴン・ウルフラムさんへのインタビュー（翻訳：高橋聡、構成：書籍編集部）を先行公開いたします。 ChatGPTの機能の詳細だけにとどまらず、人間が操る自然言語の法則、〈エイリアン・インテ
はじめに こんにちは、そこらへんのデータサイエンティストです。 突然ですが、みなさん（特に男性諸君）こんなこと思ったことありませんか？ 彼女のLINEを返すのがめんどくさい 毎朝毎朝、「おはよう」をわざわざLINEで言わなければいけないのが嫌だ どうでもいい内容のメッセージに返信するのが億劫だ 自分の代わりに返信してくれるbotがあったら便利なのになぁ... と、いうわけで、自分っぽく返信してくれるbot、通称「俺bot」を作ってみることにしました。 俺botの作り方 ではどうやって俺botを作るのか。実は至って簡単で、誰でも作ることができます。 そう、LINEの膨大なトーク履歴とChatGPTのfine-tuningを使うことによって実現ができます。単純な話、ChatGPTのgpt-3.5-turboに自分のLINEのトーク履歴を学習させたら俺っぽく喋ってくれんじゃね？？と思いました。
アイスマイリーは、各業界のDX推進の支援の一環として生成AIに関する基礎知識および導入をまとめた「生成AI基礎入門書」を公開しました。 生成AI基礎入門書を資料請求する 生成AI基礎入門書 ～業務効率化への近道～ 資料概要 生成AIとは？ ChatGPTとは？ ChatGPTでできること 生成AIで業務効率化 生成AI活用の5ステップ 本資料は、ChatGPTをはじめとした生成AIについて「生成AIとは？」「生成AI活用の5ステップ」等5つの段階からまとめてある、生成AIの基礎と業務効率化へのヒントを理解することを目的とした最新資料です。 導入事例は勿論のこと、実際に業務の効率化へ活かすためにはどのようなフローが必要か、導入に際し活用できるガイドライン例など生成AIの基礎知識から具体的な導入までのフローまでがひと目で分かる資料となっております。 生成AIとは？ 生成AIとは、「ジェネレーテ
Google DeepMindがすべての生命分子の構造と相互作用をきわめて正確に予測できるAIモデル「AlphaFold 3」を発表
Google DeepMindがAI系創薬企業のIsomorphic Labsと協力し、タンパク質やDNA、RNA、リガンドなど生命分子の構造と相互作用をきわめて正確に予測できるAIモデル「AlphaFold 3」をリリースしました。 Google DeepMind and Isomorphic Labs introduce AlphaFold 3 AI model https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/ Accurate structure prediction of biomolecular interactions with AlphaFold 3 | Nature https://www.nature.com/articles/s41586-024-0748
大規模言語モデル - Wikipedia
大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習（英語版）によって訓練が行われる[1]。 LLMは2018年頃に登場し、さまざまなタスク（仕事）で優れた性能を発揮している。これにより、自然言語処理の研究の焦点は、特定のタスクに特化した教師ありモデルを訓練するという以前のパラダイムから転換した[2]。大規模言語モデルの応用は目覚ましい成果を上げているが、大規模言語モデルの開発はまだ始まったばかりであり、多くの研究者が大規模言語モデルの改良に貢献している[3]。 大規模言語モデルという用語の正式な定義はないが、大規模コーパスで事前訓練された、数百万から数十億以上のパラメ
AI研究の第一人者である松尾豊・東京大学大学院教授が、AI研究の最新動向やAIが社会に与えるインパクトなどについて話した。 松尾教授は2017年に日本ディープラーニング協会を設立し理事長に就任した。 司会 倉澤治雄 日本記者クラブ企画委員
McKinsey、社員向けジェネレーティブAIツール「Lilli」を公開 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: McKinsey 100年近い歴史を持ち、世界最大級のコンサルティング会社であるMcKinsey and Company は今年初め、ジェネレーティブ AI ツールの急速な導入で大きな話題となった。 その McKinsey が、独自のAIツール「Lilli」を発表した。これは McKinsey の CTO Jacky Wright 氏が率いるチーム「ClienTech」が設計した社員向けの新しいチャットアプリケーションだ。情報、洞察、データ、計画を提供し、コンサルティングプロジェクトに最も適した社内の専門家を推薦する。 McKinsey のシニアパートナーで、この製品の開発を率いた Erik Roth 氏は、VentureBeat に次のように答えた。 McKinseyの 知識を総動員して質問し、（AI が）それに答えてくれるとしたら、それは会社にとってどんなこ
【神AIボイチェン｜RVCとは】RVCを使ったリアルタイムボイスチェンジャー｜導入～使い方｜これすご-AIクリエイティブ-
今回は、RVC学習済データとVC Clientを使って、リアルタイムで自分の声を別の声に変える方法について解説します。 RVC（Retrieval-based-Voice-Conversionの略）は中国初のAIボイスチェンジャーで、精度と学習・変換速度がやばいです。 従来からあるMMVCと違いボイチェン感がなく、本当に違和感がなくなめらか。 まさにコナン君の蝶ネクタイのようにリアルタイムで声を変えてくれます。 大まかな流れは「RVC学習済データを用意する」ー「VC ClientでRVC音声データを読み込み」ー「リアルタイムでボイチェンして録音する」 すでに学習させているRVCデータを使うのでハイスペックなパソコンは必要ありませんし、お金もかかりません。 私の環境はWindowsですが、MACでも動くはずです。 今回は録音する方法になりますが、リアルタイムでボイチェンできるのでDiscod
日々進化を続ける、ChatGPTに代表される生成AI。GAFAをはじめ、国内でもソフトバンクやNTTグループ、NECなどの多くの企業が生成AIの開発に参入している。 中でも生成AIの研究と研究者の育成を最前線で進めるのが、東京大学大学院工学系研究科にある松尾豊研究室だ。人工知能の研究・開発を長年続けており、8月には岸田文雄総理が研究室を訪れた。 松尾豊教授が理事長を務めるのが、日本ディープラーニング協会（JDLA）だ。JDLAは、生成AI利用の企業向けガイドラインを策定していているほか、G検定やE資格といったAIに関する資格試験を実施している。 この資格試験の合格者に向けたイベント「CDLE All Hands 2023」に松尾教授が登壇し「生成AIの現状と活用可能性」および「国内外の動きと日本のAI戦略」について講演した際の内容を、前中後編でレポートする。 講演では、まずAIの歴史を振り
AIで超ラクして 簡単に稼げるって本当？ 稼げるのは本当ですが、超ラクでも、簡単でもありません。でも時間ばかり掛かっていた副業を、劇的に効率化できるのは事実です。 こんなあなたに！ ✔AI副業って何なの？ ✔どんな副業があるのか知りたい ✔AIを使った副業のメリットは？ ✔AI副業の注意点は？ ✔本当に効率化できるの？ このような悩みや疑問を解決します。 AI（人工知能）の進歩により、誰でも手軽に副業を始められる時代がやってきました。AIを使った副業の世界を、超分かりやすく解説します。メリット、始めるための手順、効率的な仕事の進め方まで完全網羅。 具体的なAI副業の例として、12の仕事を紹介します。またAIを使うなら、避けて通れない注意点についても触れていきます。 副業は、あくまで副業です。無理なく、そして楽しみながら続けられることが大事です。身近なテクノロジー、AIを活用して、新しい働き
はじめに これからデータサイエンスやAIを本格的に学びたい人向けに、著者が勉強したメモを稚拙ながらQiitaの記事に掲載してきたものから抜粋したものになります。少しでもお役に立てればと思います。 1.データサイエンス、統計検定 プログラミング Python、Numpy、Pandas、Matplotlibの公式チュートリアルを、Googleコラボ上で動かしながらセルフ学習できるようにしたものです。筆者の観点でポイントをいくつか記載しています。 [補足]Pandasの高速化ライブラリィ Pandasを(コード修正なく)高速化するライブラリィの紹介です。 統計検定２級 これから統計を勉強し、統計検定２級のテストを受ける人向けに整理したチュートリアルです。テストを受けるにあたり注意すべきポイントも記載しています。 統計検定準１級 統計検定準１級を受ける人向けに整理したチュートリアルです。テストを受
新世紀Coreと呼ぶべきかもしれない。｢インテル® Core™ Ultraプロセッサー｣は異世界転生者級のスゴさ2023.12.19 17:00Sponsored by インテル株式会社 武者良太 異世界転生者級のスゴさ!? いえ、これが現代最新のインテルテクノロジーのスゴさなのです。 長年CPU/SoCのトップシェアルートをひた走ってきたインテル。今までの歴史を振り返ると、パーソナルなコンピューターの転換期を常に支えてきたんですよね、彼ってば。 1978年～ ：｢8086｣後のNECのPC-9801シリーズで使われた 1982年～：｢80286｣16ビットCPU時代の頂点の1つ 1985年～：｢i386｣初期の32ビットCPU時代を牽引した存在 1993年～：｢Pentium｣1995年からのWindowsブームを支えた 2005年～：｢Pentium XE｣世界初のマルチコアCPU 2
オープンなLLMをローカルで動かす | ドクセル
闇のエンジニア/変なデジカメ開発中/ディープラーニング芸人/Raspberry Piとからあげ大好き/はてなブログ書いてます
用語「ゼロショット学習」について説明。訓練データに存在しない新しいクラスやタスクに対しても有用な予測／分類を行うための学習方法のことで、特にChatGPTの言語モデルなどでは、ファインチューニングすることなく、かつ例文もない状態で、さまざまなタスクを解決する能力を持つことを指す。 連載目次 用語解説 人工知能／機械学習分野のゼロショット学習（Zero-shot Learning）とは、新しいクラス（分類問題の場合）やタスクを訓練データから事前に学習していなくても、推論時にその未知のクラスやタスクについての何らかの補助情報（説明テキストや属性情報、クラス間の類似性など）を訓練済みAIモデルに与えることで、柔軟に適切な分類や予測を行うための学習方法のことである。例えば動物を分類するタスクにおいて、事前に「犬」と「猫」（という2つの既知のクラス）の訓練データから学習したAIモデルに、未知の動物に
AI、わからない。｢マシンラーニング｣と｢ディープラーニング｣って何がちがうの？2024.05.30 08:0012,871 Lucas Ropek - Gizmodo US ［原文］ （ そうこ ） 初めてChatGPTを使ったときの驚きも今はむかし。すっかり慣れてきてしまった今日このごろ。 AIがいたるところに進出してはいるものの、AIが結局なんなのか、どんな技術なのかはいまひとつわかっていません。マルチモーダルとか、ディープラーニングとかマシンラーニングとか、よく耳にする言葉はあるんですけどね。 AI開発に欠かせないという｢マシンラーニング｣ってなんですか？ ｢ディープラーニング｣ってなんですか？ そもそもAIってなんですか？AI。Artificial Inteligenceの頭文字をとったもので、日本語では人工知能のこと。いつの日か、マシン自身が｢考える｣ことができるようになるのが
1 生成AIとは 生成AIは、学習したデータを基にテキストや画像などのコンテンツを生成するAI（人工知能）です。プロンプト（AIへの命令）によって、言語間の翻訳や文章、画像、プログラムコードなど、さまざまなコンテンツを自動生成できます。従来のビジネスを大きく変革し得る存在として世界中で注目されており、日本国内の企業においても生成AIを活用した生産性向上施策やビジネス戦略が立てられています。 2 生成AIの仕組み 生成AIがコンテンツを生成するためには、大量のデータの学習が必要です。ディープラーニングなどの「機械学習」と呼ばれる仕組みによってデータの特徴やパターンを学習し、精度の高いコンテンツを生成できます。
GPT解説2 アテンションの仕組み (Attention, Transformer) | Chapter6, 深層学習
この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://www.youtube.com/watch?v=eMlx5fFNoYc&t=795s&pp=ygUVYXR0ZW50aW9uIDNibHVlMWJyb3du 新チャンネルUfolium https://www.youtube.com/watch?v=nF7gFRebGTk&pp=ygUHdWZvbGl1bQ%3D%3D https://www.youtube.com/watch?v=wrNCjIjIzuk&p
本書は、最先端のAI技術を活用して画像生成を行う方法を解説し、AIアートの新時代を切り開くためのガイドブックです。機械学習やディープラーニングの基礎知識から、マルチモーダルな基盤モデルであるCLIP、話題の画像生成技術であるStable Diffusionを活用した実践的な応用方法までを網羅しています。エンジニアや画像生成に興味がある方に向けて、AIアートの奥深い世界を体感することができます。 お知らせ紙の本は入荷後に発売開始されます 本の仕様・紙の本 A4フルカラーオフセット 136ページ ・紙の本＋電子版の場合、電子版は「おまけファイル」からダウンロードしてください 各章の紹介1. 機械学習入門: 本章では、機械学習とAIの違いやディープラーニングの特徴、基本的な数学知識、GPUの環境構築方法、CNNやTransformer、Attention機構などの基本的な概念を解説します。画像生
OpenAIアルトマン騒動で急浮上の｢Q*｣とは何なのか？
OpenAIアルトマン騒動で急浮上の｢Q*｣とは何なのか？2023.12.07 20:005,007 Lucas Ropek - Gizmodo US ［原文］ （ satomi ） ｢心底恐怖を感じる瞬間はある。自分たちの造ったものは道具なのか、それとも化け物なのかと｣ （CEO更迭前夜のサム・アルトマン、オークランド市内のイベント｢Robot Heart｣にて） こんな意味深な発言をした翌朝、突如OpenAI社のCEO職を解任になったサム・アルトマン。 最大出資主のマイクロソフトが｢うちにこい！｣と即採用を決めましたが、OpenAI社員770人中710人が｢復職させなかったら自分らも辞める！ ｣と連名で直訴したことで無事CEOに復帰。クーデターを断行した役員はQuora CEO兼務の1名を残して全員解任となり、更迭劇は4日で終息しました。が、｢そもそもなんで辞めさせられたの？｣という謎
こんにちは！エンジニアの藤井（touyou）です！ この記事はGoodpatch Advent Calendar 2023の二日目の記事になります。 今回テーマにするのは昨年末のChatGPTリリースに始まり全世界を巻き込む社会現象となった「AI」についてのお話です。 ChatGPTの影響が大きかった一番の要因はチャット形式かつその性能の高さが今までAIに直接触ってなかった層を巻き込めるようになったから、というのはわりとメジャーな見方かと思いますが、一方でこれによってAIもとい機械学習がどういう仕組みで動いているのかという理解があまりないまま生成AIを触っている人も増えてきたのかなと思います。 自分は以前にChatGPTに書かせた技術記事に赤入れしてみた - Goodpatch Tech Blogという記事を書いたように、ただ生成AIに盲目的に乗っかっていくだけの動きには比較的懐疑的な立場
ジェネレーティブAI、2023年の求人数は7か月で33倍増加 フリーランス含む労働市場に大きな影響 | AMP[アンプ] - ビジネスインスピレーションメディア
ジェネレーティブAI求人、2023年1〜8月に33倍増加 ChatGPTの登場以来、労働市場に大きな変化が起きている。AI人材を求める企業が急増、またそれに呼応した人材側のAIスキル取得の加速が顕著となっているのだ。これは、一般の労働市場だけでなく、フリーランス市場でも明らかなトレンドになっている。 まず、オンライン求人プラットフォームAdzunaが2023年9月1日に発表した最新調査から、海外の労働市場におけるAI求人動向をみていきたい。同調査は、主に英語圏で掲載された2億7,600万件を超える求人広告を詳細に分析したもの。AI人材需要が顕著に増加していることが判明した。 たとえば2023年上半期、「Generative AI（ジェネレーティブAI）」という言葉が記載された求人広告の数は1月の185件から5月には1,496件と800％の増加を記録。さらに、2023年8月「Generati
AWSの生成AIサービス「Bedrock」に新機能続々 基盤モデルのファインチューニングや、安全性保つ“ガードレール”など
AWSの生成AIサービス「Bedrock」に新機能続々 基盤モデルのファインチューニングや、安全性保つ“ガードレール”など 米Amazon Web Servicesが、生成AIサービス「Amazon Bedrock」の新機能を複数発表した。Bedrock上で一部大規模言語モデルのファインチューニングが可能になった他、生成AIによる応答の安全性を高める新サービスも登場した。 米Amazon Web Servicesは11月28日（現地時間）、生成AIサービス「Amazon Bedrock」の新機能を複数発表した。Bedrock上で一部大規模言語モデルのファインチューニングが可能になった他、生成AIによる応答の安全性を高める新サービスも登場した。 Llama 2などのファインチューニングが可能に まず、大規模言語モデル「Llama 2」「Cohere Command Light」「Amazon
【DL輪読会】Evolutionary Optimization of Model Merging Recipes モデルマージの進化的最適化
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 我が課に検証マシンが入りまして それまでGeForce RTX 3060で細々とやってた検証が少しばかりやれることが増えてきまして。 そしたらよりやれることを増やしたくなるのがエンヂニヤの性・・・・・・・・・ってやつではないでせうか？ メーカー製の製品をおとなしく使う・・・・訳がなく、自前だったり社内で暇してるGPU等をかき集めたりしながら、色々検証内容としてやれることを増やしていこうとしていた時の話です。 デバイスもそこそこに増えてきて、まぁやっぱり色々検証してみたいんですね、これ
正月もいよいよ大詰め。 とはいえ、AIは待ってはくれない、ということで昨日から「デイリーAIニュース」を再開しています。今週だけ過去の特番を全て見れるスペシャル仕様になっているのでこの機会にぜひ去年のAIの流れと基礎知識を振り返ってみてください。 さて、昨年末は怒涛のようにいろんな日本語対応のオープンLLMが公開されました。 東工大のSwallow-70Bや、Elyza13B、LightblueのQarasu-14Bなどです。 僕がよく使う「Wikipediaの内容を要約して会話データセットを作る」というタスクをそれぞれのLLMにやってもらいました。その結果を書いておきます。 各テストの動作環境はうちの社長(AI)こと継之助です。現在のスペックは以下 ・GPU NVIDIA A100 80GBx8 ・256GB RAM ・20TB SSD(RAID0) ・20TB HDD(RAID0) ・
Amazonがカンファレンス「AWS re:Invent 2023」の中で、機械学習トレーニングやAIトレーニングを含む幅広いワークロードでパフォーマンス向上を実現するプロセッサ「Graviton4」と「Tranium2」を発表しました。 AWS-Unveils-Next-Generation-AWS-Designed-Chips https://press.aboutamazon.com/2023/11/aws-unveils-next-generation-aws-designed-chips Join the preview for new memory-optimized, AWS Graviton4-powered Amazon EC2 instances (R8g) | AWS News Blog https://aws.amazon.com/jp/blogs/aws/join
米Microsoftが、クラウド検索サービス「Azure Cognitive Search」の名称を変更した。新しい名前は「Azure AI Search」。価格体系やサービス内容に変更はない。 米Microsoftは11月15日（現地時間）、クラウド検索サービス「Azure Cognitive Search」の名称を変更した。新しい名前は「Azure AI Search」。価格体系やサービス内容に変更はない。 Azure AI Searchは電子メールやPDFなど、構造化されていないさまざまなデータを対象にできるクラウド型の検索サービス。大規模言語モデル「GPT-3.5」などのAPIをクラウドサービス「Microsoft Azure」上で使える「Azure OpenAI Service」と組み合わせることで、検索した資料を基にした回答ができるチャットbotの作成にも活用できる。改称は2度
こちらで紹介された論文が面白かったのでChatGPTを使用して日本語に訳してみました。一語一句訳すというよりは小さく区切って分かりやすく要点をまとめてもらってます。 仮想のLLMチャット駆動型ソフトウェア開発会社「ChatDev」を設立し、さまざまな役割を持つエージェント達に仕事をサポートさせましょう。 北京大学などの研究グループにより開発されたアーキテクチャが公開されました。 ○ Chen Qian et al. Communicative Agents for Software Development… pic.twitter.com/YWHquTSGtv — AIDB (@ai_database) August 30, 2023 要約ソフトウェアを作るのは難しい仕事で、経験や相談が必要です。でも、最近の深層学習の技術の進歩で、そのやり方が大きく変わりつつあります。今回の論文では、ソフ
![[LLM 論文]アプリ全自動開発"ChatDev"の日本語訳｜すめらぎ](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b23a71359c52bac9fb9dadcc6cd1d7705a2e47d/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F114897474%2Frectangle_large_type_2_fd1a6c312f477e9fb39859679921c557.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
『なめらかな社会とその敵 PICSY・分人民主主義・構成的社会契約論』（勁草書房、2013年）を上梓した鈴木健と、本特集の監修者であり情報社会論にも通暁する法哲学者・大屋雄裕の対談をお届けする。 『なめらかな社会とその敵』は、生命システムから社会システムまでを論じ、「二項対立のない社会」を構想する特異な思想書。人文系の研究者だけではなく、エンジニアやクリエイターにも幅広く読まれる同書のインパクトは、出版から10年経ったいまも変わらない。それどころか、近年ではWeb3周辺のコミュニティでも予言の書のように参照されるなど、さらに影響力を増している。 本対談では、そんな「なめらかな社会」のアイデアを改めて検討しながら、同書刊行後の社会変化や技術進化について語り合う。民主主義の危機やガバナンスシステムの劣化に目を背けず、同時にブロックチェーンやAIといった技術の進展を眺望する議論は、現実を踏まえつ
2023年9月末に発表されたRaspberry Pi 5はArm製CPU「Cortex-A76」や独自開発のI/Oコントローラー「RP1」を搭載しており、CPUやGPUの性能がRaspberry Pi 4から2～3倍に向上したといわれています。Raspberry Piを開発するRaspberry Pi財団が公式ブログで、前世代のRaspberri Pi 4とベンチマークスコアを比較した結果を公開しています。 Benchmarking Raspberry Pi 5 - Raspberry Pi https://www.raspberrypi.com/news/benchmarking-raspberry-pi-5/ Raspberry Pi 5のスペックは以下の通り。 モデル名Raspberry Pi 5Raspberry Pi 4 Model BSoCBroadcom BCM2712Bro
ChatGPTの登場以来、国内外の多数の企業が企業向けのLLM開発支援に手を挙げている。ディープラーニングの第一人者でもある東京大学 松尾 豊氏の研究室から生まれたAI系のスタートアップ企業であるELYZAも、企業が独自の大規模言語モデル（以下、LLM）を構築するための支援プログラム「独自LLM開発支援プログラム」の提供を開始する。 企業独自のLLM開発のコストを1ケタ安く 独自LLM開発支援プログラムは、事前学習（Pre-Training）のプロセスを効率化しつつ、精度向上のカギを握る事後学習（Post-Training）については専用の基盤を構築して企業ごとのチューニングと運用を効率化するものだ。学習データの継続的な整備やフィードバック学習の運用も支援する。 ELYZAは、Pre-Trainingを効率化することで、独自のLLM開発にかかる費用を1ケタ安く提供できるとしている。
Fujitsu Uvance 特集 「誰もが夢に向かって前進できるサステナブルな世界をつくる」という富士通の決意を込めた事業ブランド「Fujitsu Uvance」。 この事業ブランドに深く関わる活動を取り上げた記事をご紹介します。 詳細を見る TOYOTA GAZOO Racing × 富士通特設サイト 「極限状態が人を鍛え、技術を鍛える」 富士通は、カーボンニュートラルな世界の実現に向けて、FIA世界選手権（WEC）に参戦するTOYOTA GAZOO Racingを応援します。 詳細を見る 日本では博士課程に進学する学生が減少傾向にあり、欧米諸国と比べても博士号取得者の数が少ないという現状があります。専門人材の不足による研究開発力の低下は、日本の国際競争力や世界におけるプレゼンスの低下など深刻な問題につながることが懸念されます。こうした状況の中、富士通は九州大学、東京大学と連携し、日本
3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning
ThanksSpecial thanks to those below for supporting the original video behind this post, and to current patrons for funding ongoing projects. If you find these lessons valuable, consider joining. .chanceA ZookAaron BinnsAda CohenAdam CedroneAdam Dřínekaeroeng15Alan SteinAlbin EgasseAlex Alex HackmanAlexandru IrimieaAlexis OlsonAli YahyaAljoscha SchulzeAlon AmitAlvin KhaledAman KarunakaranAndrea Di
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンポジットAI（複合AI）とは何か？ マルチモーダルAIとの明確な違いとは
バーチャルヒューマンで蘇ったダンとアンヌの<声>を再現！最先端テクノロジーによる革新的クリエイティブ推進プロジェクト「TSUBURAYA IMAGINEERING」が音声生成AIを開発
GANの10年にわたる歴史を振り返る〜DCGANからTransGANまで〜 | AIDB
世界平均を超えるようになった“日本の生成AI活用度” 日進月歩の技術におけるアジャイルガバナンスの必要性
ChatGPTのfine-tuningで俺botを作ってみた話 - Qiita
生成AI基礎入門書を公開！業務効率化への近道を示した、全50ページの大ボリューム資料です！
「生成AI」(3) 松尾豊・東京大学大学院教授 2024.3.15
松尾豊東大教授が明かす 日本企業が「ChatGPTでDX」すべき理由
AI副業で稼ぐおすすめの方法12選【注意点あり】半自動で効率化！ - ソロ活@自由人BLOG
AWSジャパン、生成系AI関連のアップデートなど「AWS Summit New York 2023」の発表内容について説明
これからデータサイエンス、AIを本格的に学ぶ人へ 📚 - Qiita
新世紀Coreと呼ぶべきかもしれない。｢インテル® Core™ Ultraプロセッサー｣は異世界転生者級のスゴさ
Zero-shot Learning（ゼロショット学習）とは？
AI、わからない。｢マシンラーニング｣と｢ディープラーニング｣って何がちがうの？
今さら聞けない「生成AI」の仕組みや活用の注意点をこっそり学ぼう
AIアートの新時代：CLIPとStable Diffusionを活用した画像生成技術とその応用 - じゅ～しぃ～すくりぷと - BOOTH
大生成AI時代に学ぶAIのしくみ基礎の基礎 - Goodpatch Tech Blog
【DL輪読会】KAN: Kolmogorov–Arnold Networks | ドクセル
画像生成AIモデルを使ってGPUの速度を比べてみた | IIJ Engineers Blog
最近の日本語特化オープンLLMをつまみ食いする｜shi3z
AmazonがAWS向けのプロセッサ「Graviton4」とAIトレーニング用チップ「Trainium2」を発表
Azure Cognitive Searchが改称 「Azure AI Search」に
[LLM 論文]アプリ全自動開発"ChatDev"の日本語訳｜すめらぎ
なめらかな社会は近づいているか | 【公式】攻殻機動隊グローバルサイト
Raspberry Pi 5のベンチマーク結果をRaspberry Pi財団が公表、前世代の2倍以上のスコアをたたき出す
オフライン、オンプレミスでの独自LLM開発を1ケタ安く ELYZAがLLM開発支援プログラムを開始
日本初、富士通の「卓越社会人博士制度」とは～アカデミックな研究と社会課題解決を両軸で支える