サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
中東情勢
qiita.com/nohanaga
【速報】Azure Cognitive Search が Azure AI Search としてリブランドしベクトル検索が GA!Azure全文検索AICognitiveSearchAzureAISearch Azure AI Search の誕生 Microsoft Ignite 2023 にて、Azure Cognitive Search のベクトル検索が GA となり、ブランド名が「Azure AI Search」となることが発表されました。Azure AI Search は AI を活用した情報検索プラットフォームとして位置づけられます。 Azure Cognitive Search はフルマネージドな全文検索エンジンとして長年にわたって世界で多くの企業のナレッジベースとして用いられてきました。2021 年、Microsoft 製の LLM である Turing モデルをベースにし
GPT-4 Turbo with Vision × Azure AI Search × Azure AI Vision 時代のマルチモーダルエンタープライズサーチAzureCognitiveSearchChatGPTGPT-4AzureAISearch 2023/3/10 の公開から 9 か月経ちましたが、GPT-4 Turbo with Vision のパブリックプレビュー開始などもあり例の RAG アーキテクチャのレポジトリがマルチモーダル対応したり他にもいろいろ改良されています。 GPT-4 Turbo with Vision による回答が可能に Azure AI Vision と Azure AI Search を使用した画像類似検索が可能に Thought process UI の改良 その他多数→別記事で解説予定 1. GPT-4 Turbo with Vision による回答
Microsoft は 18 日、Azure Cognitive Search を用いた RAG システムの定量的評価結果を公表し、Azure Cognitive Search 独自の検索機能である、セマンティックハイブリッド検索(ハイブリッド+セマンティックランカー)が最も高い品質を示すことが分かりました。また、チャンク分割戦略についての参考になるインサイトも提供しています。 Azure Cognitive Search のセマンティックハイブリッド検索の解説はこちらを参照ください。今回用いる用語の簡単な解説は以下です。 ハイブリッド検索:BM25 ベースのキーワード検索とベクトル類似度検索結果のそれぞれ上位 50 件を、RRF を使用して結果を統合します。 ハイブリッド+セマンティックランカー:ハイブリッド検索の結果上位 50 件を、リランク(並び替え)て新たにスコアを生成しています。
はじめに Azure OpenAI Developers セミナー第2回でも語らせていただきました、Azure Cognitive Search のベクトル検索、ハイブリッド検索、セマンティックハイブリッド検索のデモネタについて紹介します。 Azure Cognitive Search がベクトル検索に対応したことで、クラシカルなキーワード検索と組み合わせたハイブリッド検索が可能になりました。今回はいつもの戦国武将データセットを例に、それぞれの機能を比較していきましょう。 ベクトル検索 text-embeddings-ada-002 で生成した Embeddings を格納します。 「源実友のお歌にはどのような特徴があったのでしょうか?」というわざとスペルミスを入れたり和歌をお歌と言い換えたりしたクエリーで検索をかけます。ja.lucene というスタンダードな日本語アナライザーに搭載され
Azure Machine Learning の Prompt flow で Azure Cognitive Search をベクトルストアとして RAG を実行するAzureAzureMachineLearningCognitiveSearchChatGPTGPT-4 Azure Machine Learning に Prompt flow が搭載され、パブリックプレビューが開始されました。Prompt flow は大規模言語モデル (LLM) を利用した AI アプリケーションの開発サイクル全体を合理化するように設計された新時代の開発ツールです。 Azure AI Studio Azure AI Studio は Azure OpenAI Studio の Chat Playground や Azure Machine Learning の Prompt flow を包含するサービスと
今回は Copilot stack のカスタマイズの中心となるプラグイン開発について紹介します。 Copilot stack Copilot stack は大規模 LLM をオーケストレーターとして利用し、複数のプラグインや外部システムの情報と連携させて GPT-4 のプラグイン機能や Microsoft の各製品に搭載される Copilot と連携したり独自の Copilot を開発できるフレームワークです。 プラグイン開発 ChatGPT 規格のプラグインを開発すれば、以下のようにブラウザ版 GPT-4 だけでなく、Bing や Microsoft 365 Copilot、Windows Copilot などからも利用可能になります。当然、組織独自の Copilot と統合することもできます。このプラグインによって、最新の情報や組織内のデータを反映させた(Grounding)回答を行っ
はじめに Microsoft Build 2023 で発表のあった Azure OpenAI on your data のパブリックプレビューが開始されました。「on your data」の名前の通り、Azure OpenAI Studio の Chat Playground 上で Azure Cognitive Search のデータを参照し、モデルが知らない内容を答えられるようにしてからノーコードでAzure AD 認証付きチャットアプリのデプロイまでやってしまうという機能です。 内部アーキテクチャ 「on your data」の仕組みは以下のようなアーキテクチャになっていると考えられます。考えられますというのは、Azure Cognitive Search からの Grounding の処理が on your data REST API 内部で行われるため、詳細が隠蔽されているためで
Microsoft は 5 月 23 日、Build 2023「The era of the AI Copilot」のセッションにおいて、「Copilot Stack」開発フレームワークを発表しました。 Copilot stack の具体的な話はコチラ↑ Copilot stack のコンポーネントは大きく分けて 3 層に分かれており、 アプリケーション AI オーケストレーション 基盤モデル です。 アプリケーション層はフロントエンドで、ChatGPT と連携するプラグインや、企業のアプリケーションに統合する独自の Copilot です。このプラグイン開発に Github Copilot と Visual Studio を利用して簡単にプラグインを開発し、ChatGPT UI に統合するデモが披露されました。 AI オーケストレーション on Azure 先月、Semantic Kern
はじめに ついにこの時が来ましたね。 Azure Cognitive Search にベクトル検索機能が実装され、近似最近傍探索(ANN)が可能になります。これによって、Azure OpenAI Serivce の Embeddings API で生成したベクトルの永続的なフルマネージドベクトルデータベースとして利用できるだけでなく、既存の BM25 ベースの全文検索とのハイブリッド検索が可能になります。 2023/11/15 GA どなたでもお使いいただけます。 ポイント ベクトルデータベース Azure OpenAI の Embeddings モデル text-embedding-ada-002(1,536 次元) や Computer Vision (Vectorize Image API) で生成した画像ベクトルなどの保管先にできる ハイブリッド検索 キーワード検索とベクトル検索を
はじめに Azure 上で OpenAI をエンタープライズ利用するアーキテクチャがガンガン出てくるので自分用にメモ 1. ChatGPT × Cognitive Search を使ったエンタープライズサーチ 今一番バズってるアーキテクチャ。組織内の大量のドキュメントを ChatGPT で検索できる。多くの企業がまずこのアーキテクチャで実装を始めている。MS 公式 Tech Blog 記事は 153K Views というとんでもない View 数を記録。 ChatGPT(gpt-35-turbo)モデルでトレーニングされたデータに基づいてテキストを生成するのではなく、企業内に閉じたデータのみから生成する方法の例を示しています トークンの制限(4,096)の壁をできるだけ回避するための手法を紹介しています 「引用」をテキストに付加することで信頼できる応答を生成します 日本語解説記事 6/20
前回の記事では、ChatGPT と Azure Cognitive Search を組み合わせてエンタープライズサーチを構築するためのアーキテクチャ、サンプルコードについて解説しました。 今回は、このエンタープライズ チャットボットを各種データベースを用いてチャット履歴(記憶)を永続化したり、複数組み合わせたりして色々とカスタムしてみた記事です。 1. 一時的チャット履歴 このサンプルコードはシンプルなデモ用であり、フロントエンド側にチャット履歴の配列を持っているため、ブラウザを更新すると履歴はクリアされます。 一時的ではありますが、上記のような質問への回答もできます。 1.1. チャット履歴の実装 Azure OpenAI Serivce では 3/21 に Chat Completion API がプレビューで実装されました。Chat Completion API では、チャットの会話
Semantic Kernel (SK) は Microsoft が OSS として発表した、大規模言語モデル (LLM) をアプリにすばやく簡単に統合できる SDK です。SK は従来のプログラミング言語と最新のLLM AI "プロンプト" を簡単に組み合わせることができ、テンプレート化、チェーン化、埋め込みベースのメモリー、およびプランニング機能を備えています。 機能的には、LangChain や LlamaIndex に似たような機能を持っているライブラリです。現状は C# 向けにリリースされています。4/17 に Python 版 もリリースとなりました。ただし機能は部分的な実装である点にご注意ください。(FEATURE MATRIX) 6/23 Semantic Kernel が Copilot stack との連携を明確化しプラグインエコシステムと統合 Semantic Ker
2023/3/10 に Azure OpenAI Serivce で ChatGPT(gpt-35-turbo) がプレビューで利用可能になったと発表されました。この発表と同時に、ChatGPT と Azure Cognitive Search を組み合わせてエンタープライズサーチを構築するためのアーキテクチャ、サンプルコードが提供されました。 この発表およびサンプルコードの重要なポイントは以下です。 ChatGPT(gpt-35-turbo)モデルでトレーニングされたデータに基づいてテキストを生成するのではなく、企業内に閉じたデータのみから生成する方法の例を示しています トークンの制限(4,096)の壁をできるだけ回避するための手法を紹介しています 「引用」をテキストに付加することで信頼できる応答を生成します 今回はこのサンプルコードを自分で理解しやすいようにカスタマイズしつつ内容を解説
はじめに 巷では OpenAI が人気ですね。OpenAI の GPT-3 モデルを Azure 上でホスティングしたサービスである Azure OpenAI Service の GA によって企業はエンタープライズ用途で GPT-3 モデルを使用することができるようになりました。これにより Azure Cognitive Services と同様のセキュリティ機能、SLA、コンプライアンス、責任ある AI などのメリットを享受できます。 今回は私が好きな Azure Cogntive Search と Azure OpenAI を組み合わせるといったいどのようなことができるようになるのか、いろいろ試してみたいと思います。 🎉5/24 ついにベクトル検索機能が実装されました! 組み合わせ方法 Azure Cogntive Search をメインにしてカスタムスキルを使えば Azure O
このページを最初にブックマークしてみませんか?
『@nohanagaのマイページ - Qiita』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く