Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現～NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に～ | ニュースリリース | NTT
◆深層学習において、過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術を実現しました。 ◆本技術は、深層学習におけるパラメータ空間の高い対称性を活用し、実際に学習することなく低コストな変換により数秒～数分程度で一定の精度を実現できるため、モデルの再学習コストを抜本的に削減できることを示しました。 ◆これにより、NTTが研究開発を進める大規模言語モデル（LLM）「tsuzumi（*1）」をはじめとした多様な基盤モデル（*2）の運用コスト削減・消費電力の削減や、多数のAIで議論することで多様な解の創出をめざしたAIコンステレーション（*3）の構想具現化など、次世代のAI技術開発に貢献します。 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、深層学習において過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術
インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場
Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。 Secret Llama https://secretllama.com/ GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3. https://github.com/abi/secret-llama 実際にSecret LlamaのデモサイトでLlama 3を動作させて会話してみたところが以下のムービー。 大規模言語モデルを完全にブラウザで動作できる「Secr
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
Dify.AI · 先進的なAIアプリケーションのためのイノベーションエンジン
Release v0.5.9 - あなたのアシスタントとしてAIエージェントを作成し、ツールをカスタマイズしてください。
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
Microsoftがコスト効率の高い小さめの言語モデル「Phi-3」をリリース、オープンモデルで商用利用可能
Microsoftが小さい規模で大きな性能を発揮する言語モデルとして「Phi-3」ファミリーをリリースしました。ファミリーの中でも一番小さなサイズのモデルであるPhi-3-miniはオープンモデルとなっており、無料で商用利用が可能です。 Introducing Phi-3: Redefining what's possible with SLMs | Microsoft Azure Blog https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/ Tiny but mighty: The Phi-3 small language models with big potential - Source https://news.microsoft.com/sour
マイクロソフト最新SLM「Phi-3」 メタ「Llama 3」あっさり抜く
マイクロソフトは4月23日、生成AI向けの小規模言語モデル（SLM）「Phi-3-mini」を発表した。 Phi-3-miniは、パラメーター数が38億の比較的小型軽量な言語モデル。単純なタスクに適しており、特定のニーズに合わせて容易に微調整できる点を特徴とする。スマートフォンや自動車のコンピューター、リモートカメラといったリソースの少ないデバイスでも利用できるほか、オフライン動作にも対応し、ネット接続が困難な地域でも生成AIの恩恵を受けられるという。 同社が実施したベンチマークテストでは、パラメーター数で勝るメタの「Llama 3-8B-in」（80億）や、グーグルの「Gemma 7B」（70億）に対して、より優れた性能を発揮。特にLlama 3に関しては、4月18日のリリースからわずか5日でPhi-3-miniに追い越される形となった。 ただしPhi-3-miniも万能ではなく、広範な
Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に
米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。 昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル（こちらはまだ公開されていない）のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。 トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されて
Google Colab で Llama 3 を試す｜npaka
「Google Colab」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. Llama 3 のモデル「Llama 3」では現在、次の4種類のモデルが提供されています。 ・meta-llama/Meta-Llama-3-8B ・meta-llama/Meta-Llama-3-8B-Instruct ・meta-llama/Meta-Llama-3-70B ・meta-llama/Meta-Llama-3-70B-Instruct 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -U transformers accelerate bitsandbytes(2) モデルカードで利用許諾。 (3)
イーロン・マスクが推し進めるAI「Grok」がユーザーにより投稿された「イランが攻撃開始」などのフェイクニュースをまとめて公式トレンドがめちゃくちゃに
イーロン・マスク氏は2023年にAIスタートアップの「xAI」を設立し、11月にはチャットAI「Grok」をリリースしました。しかし、悪意のあるユーザーが広めた偽のイラン攻撃ニュースがGrokによってまとめられ、X(旧Twitter)のトレンドに入ってしまったことが報告されています。 X's AI chatbot Grok made up a fake trending headline about Iran attacking Israel | Mashable https://mashable.com/article/elon-musk-x-twitter-ai-chatbot-grok-fake-news-trending-explore Investors in talks to help Elon Musk's xAI raise $3 billion, WSJ reports
GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」
カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aidan Gomez氏らによって2019年に設立されたカナダのAIスタートアップ。 OpenAIと同様、LLMの開発に特化しており、企業向けにチャットボット、検索エンジンの最適化、要約サービス、自社AIモデルのAPIなどを提供している。 Command R+は、同社が3月に発表した「Command R」の後継となるモデルであり、Cohereが得意とする高い効率性と精度のバランスを重視したRシリーズの一部となる。 128K（12万
数学的性能で世界１位の評価を記録した、数学特化の生成AIモデル「MathGPT」においてMathpresso, Inc.が日本語完全対応版の開発着手を発表
数学的性能で世界１位の評価を記録した、数学特化の生成AIモデル「MathGPT」において、Mathpresso, Inc.が日本語完全対応版の開発着手を発表 2024年3月29日、アジア最大のAIベース学習プラットフォームQANDAの運営会社であるMathpresso社は、数学的性能で世界１位の評価を記録した、数学特化の生成AIモデル「MathGPT」において、日本語完全対応版の開発着手を発表した。Mathpresso社は、Google、TikTok、ソフトバンクベンチャーズアジアとの資本提携を結び、50カ国以上で9000万人以上の登録ユーザーを集めるグローバルEdTech企業である。日本では、Mathpresso社の運営する質問応対サービス「QANDA」がアプリダウンロード数で学習アプリ部門、第1位を獲得するなど、中学・高校生の学習アプリとして定着している。今後、既に提携を進めている日本
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTT、深層学習の再学習コストを削減する「学習転移」 世界初
MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開
ゴミ出しの問い合わせにＡＩが架空の部署案内、正答率は目標に届かず「市民向けには時期尚早」
経済情報特化の生成AI、日経が開発 40年分の記事学習 - 日本経済新聞
⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について
LLMの現在 - Speaker Deck
国産の大規模言語モデル開発のオルツ、デジタルクローンが自律的に仕事や作業をこなしていく「Polloq」(ポロック)を発表 - ロボスタ ロボスタ - ロボット情報WEBマガジン
