本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LLMが外部ツールを使って回答を生成するときの、回答精度を高める手法についての論文です。Metaの研究者らによって2024年1月に提案されました。「Chain-of-Abstraction (CoA)」という手法を使うメリットは、RAGに応用することで
OpenAIが開発したChatGPTは、アメリカの医師免許試験であるUnited States Medical Licensing Exam(USMLE)に合格できると報告されるほど精度の高い文章を生成することが可能で、さまざまな分野への応用が期待されています。そんなChatGPTが、3年間で合計17人の医師が原因を特定できなかった、7歳の少年が抱える慢性的な痛みの原因を明らかにしたことが報告されています。 ChatGPT Diagnosed A Boy's Pain. 17 Doctors Over 3 Years Could Not https://www.today.com/health/mom-chatgpt-diagnosis-pain-rcna101843 2020年当時4歳だったアレックス君は体の痛みを突如訴え始めました。そこで母のコートニー氏は毎日アレックス君に痛み止めを与
月間10万人が読んでいるCoral Insightsのニュースレターにご登録いただくと、Coral Capitalメンバーによる国内外のスタートアップ業界の最新動向に関するブログや、特別イベントの情報等について、定期的にお送りさせていただきます。ぜひ、ご登録ください！ 日本でスタートアップを立ち上げる起業家にとって、「タイムマシン経営」は以前から重要な戦略として活用されてきました。海外ですでに成功している起業アイデアをいち早く日本の市場に応用し、先行して事業展開する戦略のことです。この戦略の前提としてあったのが、言葉や文化の違いが高い参入障壁となり、国内のビジネスを海外との競争から守っていた点です。しかしChatGPTを始めとした高度な言語モデルの登場により状況は変わりました。言葉の壁はもちろんのこと、それより影響は少ないとはいえ文化の壁さえも低くなってきているのです。そのため、日本のスタ
Googleが高品質な画像を簡単に生成できるAI「Imagen 2」を発表しました。Imagen 2はチャットAI「Bard」やGoogleのAIプラットフォーム「Vertex AI」などで利用可能。すでに日本からも利用可能だったので実際に使ってみました。 New and better ways to create images with Imagen 2 https://blog.google/technology/ai/google-imagen-2/ Imagen 2はすでにBardに組み込まれており、「○○の画像を生成して」という内容のメッセージを送信するだけで画像を生成することができます。Bardには以下のリンクからアクセスできます。 Bard https://bard.google.com/chat Googleにログインした状態でBardにアクセスすると以下のような画面が表示
ChatGPTの開発元OpenAIが「10年以内にAIがほとんどの分野で専門家のスキルレベルを超える」という懸念に基づき「超知能AI」の登場に備えるべく世界的な規制機関を立ち上げる必要があると主張
現地時間の2023年5月22日、対話型AI「ChatGPT」や大規模言語モデル「GPT-4」などを開発したAI研究団体のOpenAIが、専門家のスキルレベルを超え、高度な生産活動を行うAI「超知能(Superintelligence)」の登場を予期し、AIの安全な開発を進めるためには国際的な規制機関の立ち上げが必要になると提唱しています。 Governance of superintelligence https://openai.com/blog/governance-of-superintelligence 2023年5月22日にOpenAIはサム・アルトマンCEOやグレッグ・ブロックマン氏、イリヤ・スツケバー氏の連名で、AI研究における国際的な監視組織や規制機関を立ち上げる必要があると提唱しました。 Initial ideas for governance of superintel
LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ
Stable Diffusion開発元、独自の大規模言語モデル「StableLM」をGitHubで公開し、商用利用も可能。チャットAI「StableChat」は数カ月後 | テクノエッジ TechnoEdge
Stable Diffusionの開発で知られるAI企業Stability AIは、オープンソースの大規模言語モデル（LLM）「StableLM」を発表しました。 現在GitHubで公開中のアルファ版では30億パラメータと70億パラメータのモデルを提供。GitHubリポジトリで公開しています。150億パラメータから650億パラメータのモデルも提供する予定です。ライセンスはCC BY-SA-4.0で、商用または研究目的で利用できます。 GPT-3と比較して小規模なパラメータ数であるにも関わらず、「会話やコーディングのタスクで驚くほど高い性能を発揮する」という性能をうたう背景には、1.5兆トークンのコンテンツを含む、実験用データセットがあると説明しています。 StableLM with human feedback (RLHF) でファインチューニング（微調整）された研究モデル一式も公開。Al
Googleが「人間の専門家レベルを超える最初のモデル」とする『Gemini』発表、GPT-4を凌駕 | AIDB
Googleは、人間の専門家のパフォーマンスを上回る最初の大規模言語モデル（LLM）として「Gemini」を発表しました。LLMの主要なベンチマークの一つであるMMLU（多領域の学術ベンチマーク）をはじめとするほとんどのベンチマークでGPT-4を凌駕しています。 Geminiは、画像、音声、動画の理解を含むマルチモーダルタスクでも最先端の性能を示しています。テストに使用された20のマルチモーダルベンチマーク全てで最高の水準を達成しています。 また、複数のソースからの情報を統合して、より正確で詳細に理解する能力に優れているとのことです。 なお、Ultra、Pro、Nanoの3つのサイズがあり、それぞれ異なる計算要件に特化して設計されています（例えばモバイル向けにはNanoなど）。Ultraは最も高度に複雑なタスクをこなし、研究報告では主にUltraの性能が他モデルと比較されています。 本記事
「初代iPhoneと同等の衝撃」と評されるOpenAIの次世代言語モデル「GPT-4」が2023年3月発表予定、画像認識機能や多言語対応の強化が実現か
2023年3月9日にドイツで開始された「AI in Focus – Digital Kickoff」と題したイベント内で、Microsoftドイツ法人のアンドレアス・ブラウンCTOが、AI開発団体のOpenAIが開発した次世代大規模言語モデル「GPT-4」が来週にも発表されることを明らかにしました。ブラウン氏はGPT-4を「ゲームチェンジャー」と評しています。 GPT-4 is coming next week – and it will be multimodal, says Microsoft Germany | heise online https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html ブラウン氏は2023年
「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出
2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部資料が、Discordの公開サーバーから流出しました。 Google "We Have No Moat, And Neither Does OpenAI" https://www.semianalysis.com/p/google-we-have-no-moat-and-neither 対話型AIの知名度を爆発的に高めた「ChatGPT」を開発するOpenAIは、対話型AIの分野で頂点に立っているとも分析できますが、Googleは「G
世田谷区が、職員用のチャットツールを使ってChatGPTに質問できるbot「Hideki」（ヒデキ）を内製で開発し、1月から全職員に提供している。非エンジニアの職員チームが、ローコードツールなどを駆使して3カ月で完成させたという。生成AI活用の支援などを手掛けるクラウドネイティブが3月12日に発表した。 Microsoft Azure OpenAI Serviceを活用。職員が普段から使っているTeamsのチャットツールでヒデキに質問でき、ChatGPTを業務に活用できる。 文章校正やWord／Excel操作に関する疑問の解消、アイデアの壁打ちなどに活用されているという。利用した職員127人に聞いたところ、「生産性の向上を実感した」人が73％に上り、通常業務で1日平均約34分削減、アイデアや企画の素案作成は、1回当たり平均約77分削減できたいう。 非エンジニアチームが兼務で開発、3カ月で完
米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや香港浸会大学に所属する研究者らが発表した論文「WizardCoder: Empowering Code Large Language Models with Evol-Instruct」は、米Hugging Faceが5月に発表したCode LLM（コーディング専用大規模言語モデル）「StarCoder」を軽量で高精度に強化する手法を提案した研究報告である。リポジトリはこちら。 コード生成に関連する課題に取り組むため、多数のCode LLMが提案されている。これらのCode LLMは、大量のコードデータを使用して事前学
東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。 【修正履歴：2023年8月18日午後9時 当初、モデルの公開形式をオープンソースと記載していましたが、ソースコードが公開されていないなどオープンソースの定義に沿わないと思われる部分があるため記述を改めました。なお、引用部分についてはそのままにしています】 日本語だけでなく英語のデータセットも学習に用いることで学習データ量を拡張し、言語間の知識転移を行うことで日本語の精度を高めたのが特徴。 事前学習には、代表的な英語のデータセット「The Pile」と日本語のデータセット「Japanese-mC4」を使用。事後学習には、Alp
アラブ首長国連邦の首都アブダビに拠点を置く研究機関「Technology Innovation Institute」がオープンソースの大規模言語モデル「Falcon」をリリースし、機械学習関連のデータ共有サイト「Hugging Face」にてモデルを公開しました。 Falcon LLM - Home https://falconllm.tii.ae/ The Falcon has landed in the Hugging Face ecosystem https://huggingface.co/blog/falcon tiiuae/falcon-40b · Hugging Face https://huggingface.co/tiiuae/falcon-40b Falconモデルは400億個のパラメーターをもつ「Falcon-40B」モデルと、70億個のパラメーターをもつ「Falco
LLMにナレッジグラフ（知識グラフ）を連携させることで、タスク遂行能力を大幅に向上させるフレームワーク『Graph Neural Prompting（GNP）』 | AIDB
大規模言語モデル（LLM）は、質問応答、翻訳、テキスト要約など、さまざまなNLPタスクで優れた性能を発揮しています。しかし、モデルはしばしば正確な事実知識を捉えるのが難しく、根拠のない回答を生成することあります。この問題を解決するために、Amazonなどの研究者らが『Graph Neural Prompting（GNP）』という新しいフレームワークを考案しました。このフレームワークは、LLMにナレッジグラフ（知識グラフ）を連携させ、タスク遂行能力を大幅に向上させるものです。 従来の方法では、モデルに学習データを追加するためには高いコストがかかりました。しかし、GNPを用いることで、より低いコストで高い成果を得ることができます。さらに、この方法はカスタマイズが非常に柔軟であり、特定のドメインや業界に合わせて調整することが可能です。 この記事では、この興味深い研究について詳しく解説していきます
OpenAIのサム・アルトマンCEOが数百兆円という桁外れの資金調達を計画し「半導体業界の再構築」を目指している、すでに孫正義やUAEの有力者と会談しているとの報道も
ChatGPTなどの高性能AIの開発で知られるOpenAIのサム・アルトマンCEOが、世界の半導体生産能力を拡大するために数百兆円規模の資金調達を計画していることが報じられました。 Sam Altman Seeks Trillions of Dollars to Reshape Business of Chips and AI - WSJ https://www.wsj.com/tech/ai/sam-altman-seeks-trillions-of-dollars-to-reshape-business-of-chips-and-ai-89ab3db0 文章生成AIや画像生成AIなどの開発にはGPUやAI専用チップなどの計算資源が大量に必要です。OpenAIはMicrosoftと協力して大規模なスーパーコンピューターの構築に取り組んでいますが、アルトマンCEOは公の場で「十分なサービス
ChatGPTを賢くする呪文 - 日本経済新聞
米オープンAIのChatGPT（チャットGPT）は高性能な対話型AIとして世界中で注目を集めた。ChatGPTは大量のテキストを学習した「大規模言語モデル」というタイプのAIだ。このAIは自然な文章を作るのが得意だが、数学のように論理的な思考を組み合わせるのが苦手だ。ところが問題文の最後にある「呪文」を付け加えると、見違えるように問題の正答率が上がる。その呪文はこうだ。「Let's thin
EV減速の中でもっとも注意すべき政策
EVシフトの減速を示すニュースが次々に発表されている。BMW、GM、フォード、テスラ、リビアン、アップルなど、多くの会社が先行きの見込みをマイナス修正。計画の先延ばしや中止など、現実に応じた修正を余儀なくされている。 ただし、こうなるのはずっと前から分かっていたことで、ようやく世間が悪夢から覚めたということになるだろう。「後出しで言うな」という人が出てきそうなので、本連載の過去記事を遡（さかのぼ）ってみた。まあ本人もいったい何時からマルチパスウェイの記事を書き始めたのかよく覚えていないので、一度おさらいしてみたかったのもある。 BEVシフトが限定的であることを最初に明確に書いたのは7年前、2017年5月の「日本車はガラケーと同じ末路をたどるのか？」だ。 そしてエンジンはなくならないという主張が同じ年の7月にある。「電動化に向かう時代のエンジン技術」という記事だ。 現在の流れに至る原因が欧州
生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。 このLlama 2、GPT-3.5の3月1日時点のモデルに匹敵する性能を持っているというのがウリです。GPT-3.5といえば、無料版のChatGPTで使われているモデルです。それがオープンソースとして公開されたのですから、衝撃的です。 さらに、高性能なだけでなくモデルサイズが小さいことも特徴です。GPT-3のパラメータ数は1750億（175B）、GPT-3.5は未公開ではあるものの3550億（355B）と推定されています。一方で、Llama 2は、700億（70B）パラメータで、GPT-3.5並をうたっています。 パラメータが小さくなれば必要なGPUのメモリも小さくなります。GPT-3.5はデー
AIの進歩に伴って「AIによって人間の仕事の大部分が奪われる」という不安が現実的なものになりつつあります。人類はAIの登場以前から「蒸気機関の発明」「電気の発明」「コンピューターの発明」といった多くの技術革新に直面したわけですが、そのたびに数多くの職業が不要となり消えていきました。そんな「社会情勢の変化によって消えた職業」をまとめたページが英語版Wikipediaに存在しています。 Category:Obsolete occupations - Wikipedia https://en.wikipedia.org/wiki/Category:Obsolete_occupations 英語版Wikipediaの「社会情勢の変化によって消えた職業」をまとめたページには記事作成時点で183件の職業が登録されているので、いくつか興味深いものをピックアップしてみました。 ◆電話交換手 電話の発明から
Top > ビジネス > ChatGPT以降の労働市場は本当にAIに置き換えられているのか？ 500万人分のフリーランスの仕事を分析したリサーチが公開される
「AI多すぎ、何使えばいいか分からない……」を解決するAI「HuggingGPT」 文章入力だけで、適切な機械学習モデルを自動選択
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 中国の浙江大学とMicrosoft Research Asiaに所属する研究者らが発表した論文「HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace」は、大規模言語モデル（LLM）と多数の機械学習モデルを連携し、ユーザーがテキストを入力するだけで、その内容を解決するための適切な機械学習を選んでくれるシステムを提案した研究報告である。 今回はChatGPTと、LLMの機械学習モデルやデータセットなどが共有されているプラットフォーム「Hugging Face」（詳細
「最高過ぎる」「すげー！」 ChatGPTに“手書きメモ”をアップすると…… 仕事がはかどる“衝撃の機能”に歓喜の声
ChatGPTで手書きメモをExcelシートに入力する、便利な活用例がX（Twitter）で紹介され話題を呼んでいます。これは捗りそう……！ ChatGPTに“手書きメモ”をアップすると…… ChatGPTで手書きメモ→Excel入力！ 活用例を投稿したのは、Xユーザーのゆとり脊椎外科医（@spine_surgeon_）さん。ChatGPTがリリースした無課金ユーザーも使える最新モデル「GPT-4o（GPT-4 Omni）」を使って、手書きのメモをExcelに転記する様子を紹介しています。 ゆとり脊椎外科医さんが、数値を記録した“ラフな手書きメモ”をアップし、「これをExcelシートに記入してください」と指示。するとGPT-4oは手書きメモの画像を解析してExcelシートのデータを生成しました。その数値は手書きメモと確かに一致しています。これは助かりすぎる……。 手書きメモと簡単な指示だけ
NVIDIAが、GPU向けのコンピューティングプラットフォームとして提供している「CUDA」のソフトウェア利用許諾契約(EULA)の中で、翻訳レイヤーを通じてNVIDIA以外のハードウェアプラットフォームで実行することを禁止していることがわかりました。もともとこの条項はNVIDIAのサイト上で公開されているオンライン版のEULAには含まれていましたが、インストールしたCUDAのドキュメントにも含まれるようになったとのことです。 License Agreement for NVIDIA Software Development Kits — EULA https://docs.nvidia.com/cuda/eula/index.html Nvidia bans using translation layers for CUDA software — previously the prohi
前回はStable Diffusionをブラウザーで利用するためのUIとして「Stable Diffusion web UI（AUTOMATIC1111版）」、「Fooocus」と共に多く使われている「ComfyUI」のインストール方法を紹介した。とりあえず画像の生成はできたので、あらためてインターフェースを詳しく見ていこう。 まずは前回の手順に従いインストールした「ComfyUI」を起動。この画面が出ていなければ「Load Default」をクリックしよう。 いくつかの四角いパーツが、カラフルなケーブルのようなもので接続されているのが見える。 ComfyUIでは配置されたそれぞれのパーツを「ノード」と呼ぶ。それぞれのノードは「モデルをロードする」「プロンプトを書く」といった機能を持っている。これらをブロックのように組み合わせて利用したい機能を構築していくのが「ノードベース」と呼ばれるCo
大規模言語モデル（LLM）を、実際にプロダクトや実務に役立つかたちで利用している各社が見た使いどころや、実践の上での工夫について学び合うためのイベント第二弾。今回のテーマは「大規模言語モデルがつくる新しい顧客体験」。ここで登壇したのは、株式会社LayerXの松村優也氏。機械学習の民主化とMLPdMの重要性について発表しました。 LayerX社・機械学習チームのマネージャーの松村優也氏 松村優也氏：それでは、LayerXの松村優也が「機械学習エンジニアから見るプロダクト開発におけるLLM」を副題として、「機械学習の民主化とMLPdMの重要性」というタイトルで10分お話しします。お願いします。 簡単な自己紹介ですが、あらためて、松村です。（スライドの）右上の黒いアイコンでよくSNSをやっています。「Twitter」などのIDはご覧のとおりです。 バックグラウンド的には、もともと京都大学で情報検
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ワシントン大学などに所属する研究者らが発表した論文「ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs」は、大規模言語モデル（LLM）がアスキーアートを正しく認識できないという脆弱性を利用して、LLMに有害なコンテンツを出力させる新しいジェイルブレーク（脱獄）攻撃を提案した研究報告である。 これまでにも、爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺の方法などの有害なコンテンツをLLMに出力させる悪意ある攻撃が提案されてきた。 （関連記事：「銀行を襲う
ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開
OpenAIが提供する「ChatGPT」などのチャットAIは要約やコーディング、翻訳などを人間の専門家以上の精度で実行できると報告されています。しかしチャットAIの訓練に必要な人間のフィードバックに基づいた強化学習(RLHF)を実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難でした。しかしMicrosoftが発表した「DeepSpeed-Chat」では誰でもChatGPTのようなモデルを作成可能です。 DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese これまでChatGPTのよ
GPT-4を凌駕する日本語対応チャットAIが登場。現状最強モデル「Claude 3」徹底解説｜ChatGPT研究所
2024年3月4日（アメリカ現地時間）、Anthropicは現状、最高性能モデルの「Claude 3 Opus」を含む、新たな大規模言語モデルファミリー「Claude 3」を発表しました。 Claude 3シリーズはHaiku、Sonnet、Opusの3バージョンで提供され、新たに発表されたOpusはシリーズ中で最も高性能なモデルとされています。 この記事では、Claude 3ファミリーの特徴、各モデルの性能比較、利用方法、そしてGPT-4との比較に焦点を当てて解説します。 Claude とは？Anthropicが開発した大規模言語モデル「Claude」の最新バージョンが「Claude 3」です。実はClaude 3は3つのモデルから構成されるモデルファミリーで、以下の通り段階的に高度な能力を持っています。 Claude 3 Haiku Claude 3 Sonnet Claude 3 O
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Microsoft Copilot」の無料版は、より高度な大規模言語モデル（LLM）や、脚注機能、インターネットへのアクセス機能といった、「ChatGPT」の無料版に備わっていない数多くの機能を搭載している。今回、「GPT-4」の高度なバージョンを搭載するというアップデートにより、ChatGPTとの違いをより明確にした。 Microsoftの広告およびウェブサービスを統括するMikhail Parakhin氏は米国時間3月12日、Copilotの無料版に搭載していたGPT-4を「GPT-4 Turbo」に置き換えたと「X」（旧Twitter）に投稿した。「Copilot Pro」のユーザーは今まで通り、GPT-4とGPT-4 Turb
GPT4-Vの100分の1のサイズで同等の性能を誇るマルチモーダルモデル「Llama 3-V」が登場、トレーニング費用はたった8万円
画像認識が可能なオープンソースモデルの「Llama 3-V」が公開されました。Llama 3-Vは、OpenAIのマルチモーダルモデル「GPT4-V」よりも格段に小型で、事前トレーニングにかかる費用は500ドル(約78000円)程度なのにもかかわらず、ほとんどの指標で同等のパフォーマンスを示しています。 Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars | by Aksh Garg | May, 2024 | Medium https://aksh-garg.medium.com/llama-3v-building-an-open-source-gpt-4v-competitor-in-under-500-7dd8f1f6c9ee 今回発表されたLlama 3-Vは、 Metaが公開した言語モデルの「L
機械学習トレーニング用のシステムを提供する企業のMosaicMLが、オープンソースで商用利用可能な大規模言語モデル(LLM)の新基準「MPT(MosaicML Pretrained Transformer)-7B」を導入しました。MPTの基本モデルと、この基本モデルをベースに構築できる3つのバリエーションが公開されています。 Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs https://www.mosaicml.com/blog/mpt-7b MPT-7BはMetaの大規模言語モデル「LLaMA」のパラメーター数70億のモデル「LLaMA-7B」と同等の品質を確保しており、標準的なタスクでは7B～20Bのオープンソース言語モデルをしのぐ性能を示しています。 MPT-7Bのバリエーショ
米OpenAIが3月14日（現地時間）に公開した大規模言語モデル「GPT-4」の利用回数制限が、日に日に厳しくなっている。「需要に合わせて調整」しているといい、利用が殺到しているようだ。 GPT-4は、ChatGPTの有料版「ChatGPT Plus」（月額2400円／20米ドル）ユーザー向けに試用版が公開されている。当初は4時間当たり100メッセージを受け付けていたが、3月17日までに50に半減。3月20日までには、「3時間に25問」まで減った。
米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。 昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル（こちらはまだ公開されていない）のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。 トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されて
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGを複雑な質問に強くする手法「CoA」について
3年間で17人の医師が見つけられなかった少年の痛みの原因をChatGPTが特定することに成功
大規模言語モデルで崩れ去る日本市場への参入障壁 | Coral Capital
Googleが無料で簡単に使える画像生成AI「Imagen 2」を公開したので使ってみた
LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB
大規模言語モデルが“目”を持つとどうなる？ グーグルによるデモの内容は
世田谷区がAI botを内製 非エンジニア職員がローコードで開発 ChatGPT活用「ヒデキ」
“PCで自宅ChatGPT”がかなり手軽に！ GUIで簡単導入でき日本語もOKの「Text generation web UI」【イニシャルB】
ChatGPTと“声”で会話する方法解説書が発売 ～ブラウザーやAlexaにも組み込める！／『ChatGPTと音声で会話する3つの方法』発売【Book Watch/ニュース】
東大松尾研、日英対応の大規模言語モデル公開 100億パラメータ、精度は「国内オープンソース最高水準」
オープンソースで商用利用可能な大規模言語モデル「Falcon」が登場、オープンソースモデルの中では最高の性能に
ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた
AIで職を失う危機が迫る中で「過去に本当に滅んだ職業」を確認してみた
ChatGPT以降の労働市場は本当にAIに置き換えられているのか？ 500万人分のフリーランスの仕事を分析したリサーチが公開される | Ledge.ai
GPT-4より賢いと言われる「Claude 3」でいろいろ試した
NVIDIAがCUDAを他のハードウェア上で実行することを禁止
[スタパ齋藤のApple野郎] 画像生成AI「Midjourney」の最新バージョンがスゴい！ 劇的に変わったポイントは!?
![[スタパ齋藤のApple野郎] 画像生成AI「Midjourney」の最新バージョンがスゴい！ 劇的に変わったポイントは!?](https://cdn-ak-scissors.b.st-hatena.com/image/square/aea87a3a128f754cfafacbc8ec0c24dc533ff6f4/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1559%2F594%2Fstpapl2024-01-10thumbnail.jpg)
画像生成AI「Stable Diffusion」使い倒すならコレ！ 「ComfyUI」基本の使い方 (1/3)
「LLM」を活用したプロダクト開発に必要な能力とは何か “機械学習の民主化”でますます注目される「MLPdM」の重要性
生成AIに“アスキーアート”入りプロンプト入力→有害コンテンツ出力 米研究者らが新手の脱獄法発見
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
マイクロソフト、「Copilot」無料版にも「GPT-4 Turbo」を搭載
オープンソースで商用利用可能な言語モデル「MPT-7B」リリース、GPT-4の2倍の長さの文章を受け付ける
「GPT-4」使われすぎ？ 受付質問数、どんどん減少 3時間25問→さらに減る見込み
Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に