グーグルの生成AIサービス「NotebookLM」が日本でも一般公開、調査と制作を助けてくれるAIパートナー
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
オープンソースのRAGアプリ「RAGFlow」を試す
かなり新し目のフレームワークRAGプラットフォームアプリ RAGFlowとは？ RAGFlowは、深い文書理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンである。LLM（大規模言語モデル）を組み合わせることで、様々な複雑なフォーマットのデータから根拠のある引用に裏打ちされた、真実味のある質問応答機能を提供し、あらゆる規模のビジネスに合理化されたRAGワークフローを提供する。
こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
2024年5月30日に開催されたChatGPT Meetup Tokyo #7で、ChatGPTとIBM Watson Discoveryを連携させたRAGのサービスについてLTした際の資料です。 動画（スライド画面＋音声）はこちらです。 https://www.youtube.com/live/ESdtIyMEktU?feature=shared&t=361 ※個人で作成したものであり、内容や意見は所属企業・部門見解を代表するものではありません。
2024年5月22日 #mlopsコミュニティ
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムでは一般的に、断片化されたテキストをEmbeddingによってベクトル化し、関連する情報を検索、そして質問に回答するという形式が採用されるかと思います。 しかし本来、RAGのデータソースは断片化されたテキストに限定はされていません。その一つとして、Knowledge Graph(知識グラフ)というものが存在します。 本記事では、そんなKnowledge Graphを利用した新しいRAGのシステム、GNN-RAGについて紹介します。 サマリー GNN-RAGは、Knowledge Graphから関連するデータの取得にGNNを使用します。この手法を利用することで、既存のKnowledge Gr
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。 本記事では、「xRAG」という手法について、ざっくり理解します。xRAGとは、RAGシステムでLLMに投げるドキュメント（通常、数千文字ほどですよね。）を、1トークンに圧縮できるのでは？という手法です。 この記事は何 この記事は、RAGをする際にLLMに渡すドキュメントを1トークンまで圧縮できる手法「xRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー xRAGは、RAGで渡すコンテキストを極限まで圧縮する手法です。北京大学/Microsoftの研究者らによって2024年5月に提案されました。xRAGを使うメリットは、コンテ
こんにちは、にゃんたです。 今回は、言語モデルでよく使われるRAGという技術を拡張させた GraphRAGという技術について解説してみました😆 使いこなせると結構実用的だと思うので是非見てみてください！ ■LINE公式で限定コンテンツ配布中！ ▼登録はこちらから行えます▼ https://liff.line.me/2004040861-3Jvq4bAG 今ならキーワード「プレゼント」と入力すると ・ChatGPTのプロンプトまとめ ・Caludeのプロンプトまとめ ・Difyのまとめ を無料でお渡ししています！ ■チャプター 00:00 オープニング 01:48 RAGについて 09:06 GraphRAGについて 12:50 実際に使ってみる ■Googleコラボのリンク https://colab.research.google.com/github/nyanta012/de
Software engineers are increasingly adding semantic search capabilities to applications using a strategy known as Retrieval Augmented Generation (RAG). A RAG system involves finding documents that semantically match a query and then passing the documents to a large language model (LLM) such as ChatGPT to extract the right answer using an LLM. RAG systems aim to: a) reduce the problem of hallucinat
Whether they’re building a new product or improving a process or feature, developers and IT leaders need data and insights to make informed decisions. When it comes to software development, this data exists in two ways: unstructured and structured. While structured data follows a specific and predefined format, unstructured data—like email, an audio or visual file, code comment, or commit message—
Gemini 1.5 モデル をお試しください。Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダル モデルです。 試す ※この投稿は米国時間 2024 年 5 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 生成 AI の台頭により、興味深い未来の AI 活用法が多く語られていますが、一方で限界もあります。生成 AI の主力である大規模言語モデル（LLM）は、特定のデータやリアルタイムの情報を活用できないことが多いため、特定のシナリオで効果を十分発揮できないことがあります。検索拡張生成（RAG）は、自然言語処理における手法で、2 段階のプロセスによって、より有益で正確なレスポンスを提示します。まず、提示された質問との類似性に基づき、より大規模なデータセットから関連するドキュメントまたはデータポイントを検索します。次に、生
2024年4月18・19日、角川アスキー総合研究所（以下、ASCII）と日本マイクロソフトは、生成AIの活用コンテストである「AI Challenge Day 2024 in Kobe」を開催した。会場となったMicrosoft AI Co-Innovation Lab 神戸には、日本マイクロソフトの10社のパートナーが集まり、生成AI活用で注目度の高いRAGアーキテクチャとマルチモーダルの2つのテーマにチャレンジ。プレゼンと結果発表の模様はYouTubeで配信された。白熱の2日間を審査員の大谷イビサがレポートする。 パートナー10社の猛者たちが神戸に集結 RAGの精度を争う AI Challenge Day 2024の会場となるMicrosoft AI Co-Innovation Lab 神戸は、神戸の海側に近い神戸商工貿易センターの中にある。ビル自体は決して新しいわけではないが、フロア
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自分だけの信頼できるAIへ グーグル「NotebookLM」公開
ベクトルデータの容量を96%削減するBinary Embedding
社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog
RAGで人間の脳を再現。「HippoRAG」を理解する
Doing RAG? Vector search is *not* enough
注目の生成AI関連技術「Knowledge Graph」で、桃太郎の物語を視覚化してみよう【イニシャルB】
RAGのサービスをリリースして1年が経ちました
LangSmithを活用したRAGの評価・改善フローの整備
GNN-RAGで7BモデルでもGPT-4と同等の性能を引き出す
RAGで文書を1トークンに圧縮する「xRAG」について
何が凄いのか？最新の技術GraphRAGについて解説してみた
Seven Failure Points When Engineering a Retrieval Augmented Generation System
Unlocking the power of unstructured data with RAG
BigQuery RAG による LLM 機能の強化 | Google Cloud 公式ブログ
日本マイクロソフトのAIパートナー10社が神戸に集合 RAGとマルチモーダルに挑む (1/7)