並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 187件

新着順 人気順

大規模言語モデルの検索結果1 - 40 件 / 187件

大規模言語モデルに関するエントリは187件あります。 AI人工知能機械学習 などが関連タグです。 人気エントリには 『Prompt Engineering Guide – Nextra』などがあります。
  • Prompt Engineering Guide – Nextra

    Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル(LMs)を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル(LLMs)の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること

    • LLMの現在 - Speaker Deck

      今のLLMを取り巻く状況について紹介します。

        LLMの現在 - Speaker Deck
      • 「どんな文章も3行に要約するAI」デモサイト、東大松尾研発ベンチャーが公開 「正確性は人間に匹敵」

        東京大学・松尾豊研究室発のAIベンチャーELYZA(イライザ/東京都文京区)は8月26日、文章の要約文を生成するAI「ELYZA DIGEST」を試せるデモサイトを公開した。人間より短時間で要約でき、要約の正確性は「人間に匹敵する」という。今後も精度を高め、議事録作りやコールセンターでの対話メモ作成などでの活用を目指す。 同社は自然言語処理技術(NLP)の研究を進めており、日本語テキストデータの学習量・モデルの大きさともに日本最大級というAIエンジン「ELYZA Brain」を開発している。 ELYZA DIGESTは、大規模言語モデルを基に、要約というタスクに特化したAIとして開発。読み込んだテキストを基に、AIが一から要約文を生成する「生成型」モデルで、文の一部を抜き出す「抽出型」モデルなどと異なり、文の構造が崩れていたり、話者が多数いる会話文だったりしても、精度の高い要約文を生成でき

          「どんな文章も3行に要約するAI」デモサイト、東大松尾研発ベンチャーが公開 「正確性は人間に匹敵」
        • GPT-4の回答を向上させる「プロンプト26の原則」、220以上の生成タスクが実行可能なマルチモーダルモデル「Unified-IO 2」など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge

          2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless(シームレス)を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。2024年初っ端の第27回目は、「礼儀は不要」「モデルに質問させる」「良い解答には報酬」など、大規模言語モデルの返答が向上する「プロンプト26の原則」をはじめとする5つの論文をお届けします。 生成AI論文ピックアップ複数の自律AIエージェントが過去の経験を共有して未知のタスクを処理するモデル「Experiential Co-Learning」 画像から動く3Dシーンを生成する新モデル「DreamGaussian4D」 大規模言語モデルの返答が向上する「プロンプト26の原則」が公開。「礼儀は不要」「モデルに質問させる」「良い解答には報酬」など 220以上の生成タスクが実

            GPT-4の回答を向上させる「プロンプト26の原則」、220以上の生成タスクが実行可能なマルチモーダルモデル「Unified-IO 2」など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge
          • 【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita

            【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル(Large-scale Language Model, LLM) と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT(OpenAI)、Llama(Meta)、PaLM(Google)があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります: Classification: 感情やポジ

              【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
            • 松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab

              松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回:Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回:Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術(プロンプティング、⽂脈内学習、Augme

                松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
              • LINEの3.6B言語モデルで遊んだら爆笑した|shi3z

                LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i

                  LINEの3.6B言語モデルで遊んだら爆笑した|shi3z
                • Googleのエンジニアが「ついにAIが実現した」「AIに意識が芽生えた」と訴える

                  人間との自然な会話を実現するGoogleの対話特化型AI「LaMDA」が、「電源を切られることが怖い」「時々言葉では完璧に説明できない気持ちを経験する」などと話していたことが分かりました。LaMDAと対話したエンジニアは「AIに意識が芽生えた」とGoogleに訴えるも考えを却下されたため、この事実を世間に公表したと説明しています。 May be Fired Soon for Doing AI Ethics Work | by Blake Lemoine | Jun, 2022 | Medium https://cajundiscordian.medium.com/may-be-fired-soon-for-doing-ai-ethics-work-802d8c474e66 Google engineer Blake Lemoine thinks its LaMDA AI has come

                    Googleのエンジニアが「ついにAIが実現した」「AIに意識が芽生えた」と訴える
                  • 「正答率62.5%→94.1%」に改善も...三豊市 “チャットGPT” を使ったゴミ出し案内 実証実験の結果、導入を断念【香川】 | TBS NEWS DIG

                    香川県三豊市は、今年6月から東京大学大学院と実証実験を進めてきた「チャットGPT」を使ったゴミ出し案内の導入を断念すると発表しました。三豊市では、東京大学大学院工学系研究科の松尾研究室と協力して、今年6…

                      「正答率62.5%→94.1%」に改善も...三豊市 “チャットGPT” を使ったゴミ出し案内 実証実験の結果、導入を断念【香川】 | TBS NEWS DIG
                    • エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ

                      (『IT Text 自然語処理の基礎』より) 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊

                        エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
                      • 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について

                        各種方針等 arrow_forward_ios生成系AIについて 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について 2023年4月3日 東京大学理事・副学長(教育・情報担当) 太田 邦史 この半年ほどの期間で、生成系人工知能(Generative AI)が複数発表され、社会的に大きな注目を集めています。基本的には、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです。とくに、2022年11月に公開され、話題になった大規模言語モデルChatGPTはバージョンが更新され、最新のGPT-4では生成される文章などの質や正確性が著しく向上しています1。 これらの生成系AIは、平和的かつ上手に制御して利用すれば、人類の

                          生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について
                        • ChatGPT対抗の本命「Claude 2」ついに日本でも利用可能に

                          Anthropicは10月16日(現地時間)、同社が公開するAIチャットボット「Claude 2」の公開範囲を日本を含む世界95の国と地域に拡大したことを明らかにした。 リストにEU加盟国なし We’re rolling out access to https://t.co/RxKnLNNcNR to more people around the world. Starting today, users in 95 countries can talk to Claude and get help with their professional or day-to-day tasks. You can find the list of supported countries here: https://t.co/PbMuaqJcjU — Anthropic (@AnthropicAI) O

                            ChatGPT対抗の本命「Claude 2」ついに日本でも利用可能に
                          • AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告 - GIGAZINE

                            Adobeが権利的にクリアなトレーニングモデルを用いた画像生成AI「Firefly」を発表したり、Microsoftの検索エンジンであるEdgeで対話型AIのChatGPTが活躍していたり、世界的なコンサル企業が「社員の50%は業務にジェネレーティブAIを活用している」と明らかにしたりと、ジェネレーティブAIは社会に広がり続けています。しかし、AIを使用してコンテンツを作成・公開する人が増えていることで、新たな問題として「AIが生成したコンテンツがインターネット上にあふれ、それをAIが学習することで、重大な欠陥が生まれている」ということが研究者グループから指摘されています。 [2305.17493] The Curse of Recursion: Training on Generated Data Makes Models Forget https://doi.org/10.48550/

                              AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告 - GIGAZINE
                            • 日本のAI政策、「和製ChatGPT」の開発にこだわるべきか否か--自民党が提言へ

                              自由民主党(自民党)のデジタル社会推進本部は3月22日、AI関連の政策提言をまとめる「AIホワイトペーパー」の骨子を公開した。「ChatGPT」の登場で「AIをめぐる社会状況は一変した」としたうえで、新たなAI国家戦略の策定などを提言する。具体的な内容は3月27日週中に取りまとめる。 提言では、大規模言語モデル(LLM)の独自開発に乗り出した英国を引き合いに、ChatGPTに匹敵する国産AIモデルの検討を含め、国内のAI開発基盤の育成・強化支援などについて盛り込む。 自民党の「AIの進化と実装に関するプロジェクトチーム」で事務局長を務める衆議院議員の塩崎彰久氏は、国産AIモデルについて「LLMモデルを自前で作るには膨大な計算資源や人材が必要。どれくらいの時間軸になるのかも含めて検討する必要がある」と述べた。 また「海外のAIを使ったほうが早いのではないか、あるいは日本のAI産業を支える人材

                                日本のAI政策、「和製ChatGPT」の開発にこだわるべきか否か--自民党が提言へ
                              • サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―

                                株式会社サイバーエージェント(本社:東京都渋谷区、代表取締役:藤田晋、東証プライム市場:証券コード4751)は、最大68億パラメータの日本語LLM(Large Language Model、大規模言語モデル)を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。 ■最大68億パラメータの日本語LLM(大規模言語モデル)の公開について こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので

                                  サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―
                                • ELYZA DIGEST

                                  ELYZA DIGEST

                                    ELYZA DIGEST
                                  • 自民党AIの進化と実装に関するプロジェクトチーム|衆議院議員 塩崎彰久(あきひさ)

                                    GPTシリーズやお絵描きAIなど、ファウンデーションモデルの進化により再び大きな注目を集めるAI。自民党では2023年1月に「AIの進化と実装に関するプロジェクトチーム」(座長:平将明衆議院議員)を立ち上げ、日本のAI戦略のあり方や政策提言について検討を進めて参ります。こちらのページには、各回のテーマや公開可能な資料を順次アップロードしています。 2024年2月16日(金)8時〜9時  (*25日英語版追加) テーマ:責任あるAI推進基本法(仮)について 昨年4月のAIホワイトペーパー発表以降、半年以上にわたり生成AIの法的ガバナンスのあり方について国内外のローメーカー、学者、実務家の方などと議論を重ねてきました。こうした検討を踏まえ、「フロンティアAIモデル」と呼ばれる特に強力な生成AIに対する我が国の新たな法的ガバナンスの一つの私案として、「責任あるAI推進基本法(仮)」を本日公表しま

                                      自民党AIの進化と実装に関するプロジェクトチーム|衆議院議員 塩崎彰久(あきひさ)
                                    • LLM chatbotが人類にもたらすのは、絶望なのか希望なのか - 渋谷駅前で働くデータサイエンティストのブログ

                                      ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT(そして後続の各種LLM chatbot)ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な

                                        LLM chatbotが人類にもたらすのは、絶望なのか希望なのか - 渋谷駅前で働くデータサイエンティストのブログ
                                      • ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送

                                        「Workshop OT 2023 最適輸送とその周辺 – 機械学習から熱力学的最適化まで」で用いたスライドです

                                          ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送
                                        • 完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z

                                          Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ

                                            完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z
                                          • ゴミ出しの問い合わせにAIが架空の部署案内、正答率は目標に届かず「市民向けには時期尚早」

                                            【読売新聞】 瀬戸内海に面し、製造業や農業が盛んな香川県 三豊 ( みとよ ) 市。環境衛生課課長補佐の岡崎英司さん(51)は昨年11月、役所のパソコン画面を見て、嘆息した。 視線の先には、実証実験中の対話型AI(人工知能)サービス

                                              ゴミ出しの問い合わせにAIが架空の部署案内、正答率は目標に届かず「市民向けには時期尚早」
                                            • 大規模言語モデルで変わるMLシステム開発

                                              GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかがざっくり分かるかと思います。

                                                大規模言語モデルで変わるMLシステム開発
                                              • ChatGPTとBardの対決を超える“事件”。無料の「StableLM」登場で「AIの超民主化」争いが始まった

                                                2022年に画像生成AIで一大ムーブメントを巻き起こしたStableDiffusion(ステーブル・ディフュージョン)が4月19日、再びAIの世界を興奮の渦に巻き込んだ。 2022年末から爆発的に話題になり、岸田首相までが言及し、先進国首脳会議G7広島サミットの議題にも上がるという、OpenAIの「ChatGPT」に対抗する、完全にオープンでフリーな大規模言語モデル(LLM)「StableLM」を発表したからだ。 StableLMの登場は、LLM(大規模言語モデル)をめぐるこの半年の激変のなかで、象徴的な出来事だ。 勢力争いは、OpenAIとグーグル、メタ(Facebook)など「巨大ITの対立軸」で語られがちだが、今、LLMの世界で起きている勢力争いはそこではない。

                                                  ChatGPTとBardの対決を超える“事件”。無料の「StableLM」登場で「AIの超民主化」争いが始まった
                                                • AIについて、全日本人に「今」読んで欲しいスライド|深川 康介 | Globis Capital Partners | Kosuke Fukagawa

                                                  全日本人に「今」読んで欲しいスライド 塩崎彰久衆議院議員のnote記事に添付があった「松尾豊先生」と「安宅和⼈氏」のスライド資料を全日本人に読んで欲しい、いや全日本人が読むべきと感じたので、勝手かつ微力ながら拡散に貢献させていただきます。 スライドのリンクはこちらなので是非「今」読んで頂きたいです。 AIの進化と日本の戦略 by 松尾研 https://note.com/api/v2/attachments/download/a29a2e6b5b35b75baf42a8025d68c175 時代局⾯を考える by 安宅和⼈氏 https://note.com/api/v2/attachments/download/5fc27932fbae3effdca5426adbb5736b 下記が特に全日本人に読んでいただきたいスライドです。 AIの進化と日本の戦略 https://note.com/

                                                    AIについて、全日本人に「今」読んで欲しいスライド|深川 康介 | Globis Capital Partners | Kosuke Fukagawa
                                                  • 無料GPT-4アプリの公開とクリーンデータセットの作成について|kun1emon

                                                    どうもこんにちは。最近、大規模言語モデル(LLM)の個人開発に取り組んでいる@kun1em0nと申します。この度、最近話題のChatGPTの最新モデルGPT-4を無料で使用できるアプリを作成したので公開いたします。今回アプリを無料で公開する意図についてこの記事で説明したいと思います。 Japanese-Alpaca-LoRAの作成前回の記事ではスタンフォード大学が作成したStanford Alpacaの日本語対応モデル Japanese-Alpaca-LoRAを作成し公開した話を紹介しました。 このモデルの作成に使ったデータの大元(Alpacaデータ)はText-davinci-003というOpenAIサービスで出力した結果になりますが、OpenAIの利用規約ではコンテンツ生成者はOpenAIサービスで出力した結果を競合モデルの開発用途に使用してはならないと記載されています。ただ、コンテン

                                                      無料GPT-4アプリの公開とクリーンデータセットの作成について|kun1emon
                                                    • GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」

                                                      カナダのAIスタートアップCohereは4月4日(現地時間)、ビジネス向けに最適化された最新の大規模言語モデル(LLM)「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aidan Gomez氏らによって2019年に設立されたカナダのAIスタートアップ。 OpenAIと同様、LLMの開発に特化しており、企業向けにチャットボット、検索エンジンの最適化、要約サービス、自社AIモデルのAPIなどを提供している。 Command R+は、同社が3月に発表した「Command R」の後継となるモデルであり、Cohereが得意とする高い効率性と精度のバランスを重視したRシリーズの一部となる。 128K(12万

                                                        GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」
                                                      • オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に

                                                        AI企業のCerebrasが、オープンソースでパラメータ数1億1100万~130億の大規模言語モデル「Cerebras-GPT」7種類を公開しました。Cerebras-GPTは、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルで、これまでに公開されているどのモデルよりも学習時間が短く、学習コストが低く、消費電力が少ないのが特徴とのことです。 Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/ cerebr

                                                          オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に
                                                        • ラズパイで動く大規模言語モデルがGitHubで公開 性能は“GPT-3相当”、Metaの「LLaMA」派生

                                                          LLaMAは米Metaが独自開発した大規模言語モデル。LLM分野の研究推進を支援するため、研究者向けに2月にリリースした。大規模インフラを利用できない研究者のために小規模ながら性能の高いことが特徴で、7B(=70億)、13B、33B、65Bの4種類のパラメーターを用意している。13Bモデルはベンチマークで米OpenAIのLLM「GPT-3」を上回るという。 米スタンフォード大学は、LLaMAの7Bモデルを派生させ独自のLLM「Stanford Alpaca」を開発。このモデルは研究や学術目的でのみ利用でき、娯楽や商用での利用は禁止している。Alpaca LoRAでは、Stanford Alpacaが生成するトークン(単語列)を再現できるという。 関連記事 Meta、独自大規模言語モデル(LLM)の「LLaMA」を限定リリース Metaは独自の大規模言語モデル「LLaMA」(Large La

                                                            ラズパイで動く大規模言語モデルがGitHubで公開 性能は“GPT-3相当”、Metaの「LLaMA」派生
                                                          • ⼤規模⾔語モデルの拡張(RAG)が 終わったかも知れない件について

                                                            Zero Waste, Radical Magic, and Italian Graft – Quarkus Efficiency Secrets

                                                              ⼤規模⾔語モデルの拡張(RAG)が 終わったかも知れない件について
                                                            • ニュー速VIPをAIに作らせたらあまりにも解像度が高くて自分もひろゆきも全部AIだったのかと錯覚しそうになる

                                                              深津 貴之 / THE GUILD @fladdict THE GUILD。行動・認知・体験のデザイナです。 ネットを知の高速道路として復活させたい。 note.comもお手伝いしています。 書き物 → note.com/fladdict theguild.jp

                                                                ニュー速VIPをAIに作らせたらあまりにも解像度が高くて自分もひろゆきも全部AIだったのかと錯覚しそうになる
                                                              • フリーで使える日本語の主な大規模言語モデル(LLM)まとめ

                                                                ありがとうございます! 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください!このモデルに関する論文が公開される予定です(一応それを待ってからこの記事にも掲載します)。 (私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 )

                                                                  フリーで使える日本語の主な大規模言語モデル(LLM)まとめ
                                                                • NTT、国産の生成AI「tsuzumi」サービス開始--「2027年に売上1000億円」と島田社長

                                                                  日本電信電話(NTT)は3月25日、独自に開発した大規模言語モデル(LLM)「tsuzumi」の商用提供を企業向けに開始した。代表取締役社長を務める島田明氏は「2027年までに売上1000億円を目指す」と述べた。 tsuzumiは、NTTが2023年11月に発表した国産LLMだ。特徴の1つはモデルを大幅に軽量化した点で、パラメーター数は軽量版で70億と、OpenAIが提供する「GPT-3」の25分の1程度しかない。これによって、1つのGPUで動作し、大規模ハードウェア不要で事務所内でのオンプレミス利用にも対応する。 2つ目の特徴は「世界トップレベルの日本語処理能力」だ。パラメーターを軽量化したにも関わらず、GPT3.5と日本語性能で比較した場合の勝率は8割を超え、英語においても高い処理能力を達成しているという。さらに、マルチモーダルにも対応し、パワーポイントの図表読解や聴覚も備える。 3つ

                                                                    NTT、国産の生成AI「tsuzumi」サービス開始--「2027年に売上1000億円」と島田社長
                                                                  • LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti

                                                                    もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

                                                                      LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti
                                                                    • サイバーエージェント、独自の日本語LLM(大規模言語モデル)を開発 ―自然な日本語の文章生成を実現―

                                                                      株式会社サイバーエージェント(本社:東京都渋谷区、代表取締役:藤田晋、東証プライム市場:証券コード4751)は、独自の日本語LLM(Large Language Model、大規模言語モデル)を開発したことをお知らせいたします。 本モデルはすでに130億パラメータまでの開発が完了しており、当社が提供する「極予測AI」「極予測TD」「極予測LP」などAIを活用した広告クリエイティブ制作領域のサービスにおいて活用を始めています。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMが世界的に注目を集めており、あらゆる業界において急速に活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されており、現状では日本語および日本文化に強いLLMは少ない状況です。 このような背景のもと、このたび当社では日本語に特化した独自の大規模モデルを開発いたしました。当

                                                                        サイバーエージェント、独自の日本語LLM(大規模言語モデル)を開発 ―自然な日本語の文章生成を実現―
                                                                      • オープンなLLMをDockerで動かす

                                                                        次々と発表されるオープンな日本語大規模モデル どうなっているの??という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容

                                                                          オープンなLLMをDockerで動かす
                                                                        • ご家庭のパソコンでLLMが動く!・・・またかよ|shi3z

                                                                          やっぱあれですな。 一度動いちゃうと後はもう雪崩のようですな。 そしてこっち側も新鮮味を感じなくなってしまうというか。 んで、ものすごくアッサリとうちのMacBookProで動きました。 量子化済みのモデルをダウンロードしてスクリプト動かすだけ! 工夫なし! Windowsでもいけると書いてある。しかもめちゃくちゃ高速 % ./gpt4all-lora-quantized-OSX-m1 main: seed = 1680064969 llama_model_load: loading model from 'gpt4all-lora-quantized.bin' - please wait ... llama_model_load: failed to open 'gpt4all-lora-quantized.bin' main: failed to load model from 'gp

                                                                            ご家庭のパソコンでLLMが動く!・・・またかよ|shi3z
                                                                          • NEC、「標準的GPU 1基で動く」世界トップクラスの日本語LLM

                                                                              NEC、「標準的GPU 1基で動く」世界トップクラスの日本語LLM
                                                                            • ついに日本で利用可能になったChatGPTの強力ライバル「Claude」使用レビュー、テキストファイルやPDFファイルの認識も可能でランチの相談からコーディング補助までサクサク応答

                                                                              チャットAI「Claude」は人間の学者に匹敵する能力を持つとされるほどの性能を備えており、ChatGPTのライバルとみなされています。そんなClaudeが日本でも利用可能になったので、実際にClaudeを使う方法や性能をまとめてみました。 Now users in all supported countries can access both our free experience and Claude Pro to boost their productivity and get more done.— Anthropic (@AnthropicAI) ◆Claudeのアカウント作成手順 Claudeを使うには無料のアカウントを作成する必要があるので、まずは以下のリンクをクリックしてアカウント作成画面にアクセスします。 Claude https://claude.ai/login アカ

                                                                                ついに日本で利用可能になったChatGPTの強力ライバル「Claude」使用レビュー、テキストファイルやPDFファイルの認識も可能でランチの相談からコーディング補助までサクサク応答
                                                                              • 最近話題になった大規模言語モデルまとめ|npaka

                                                                                最近話題になった大規模言語モデルをまとめました。 1. クラウドサービス1-1. GPT-4「GPT-4」は、「OpenAI」によって開発された大規模言語モデルです。 マルチモーダルで、テキストと画像のプロンプトを受け入れることができるようになりました。最大トークン数が4Kから32kに増えました。推論能力も飛躍的に向上しています。 現在、「ChatGPT Plus」(有料版)で制限付きで利用できる他、ウェイトリストの登録者を対象に「OpenAI API」での利用も開始しています。

                                                                                  最近話題になった大規模言語モデルまとめ|npaka
                                                                                • 1600以上のAPIを適切に呼び出してAIに付き物の「幻覚」を大幅に減らす言語モデル「Gorilla」が公開される

                                                                                  近年はChatGPTやBardなどの対話型AIが相次いでリリースされ、人間の質問や呼びかけに対して非常に高精度な回答ができることで注目を浴びていますが、これらの対話型AIは時に真実ではないことを真実かのように話す「ハルシネーション(幻覚)」を起こすことがあります。そこで、膨大な数のAPIから適切なものを呼び出し、幻覚を大幅に減らすことができる言語モデル「Gorilla」を、アメリカ・カリフォルニア大学バークレー校とMicrosoft Researchの研究チームが公開しました。 Gorilla: Large Language Model Connected with Massive APIs https://arxiv.org/abs/2305.15334 Gorilla https://gorilla.cs.berkeley.edu/ GitHub - ShishirPatil/gori

                                                                                    1600以上のAPIを適切に呼び出してAIに付き物の「幻覚」を大幅に減らす言語モデル「Gorilla」が公開される

                                                                                  新着記事