はじめに Vertex AI Agent Builder で作る検索システム Vertex AI Agent Builder（旧 Vertex AI Search & Conversation）を使用すると文書検索システムが簡単に構築できて、コンソール上のデモ用検索ポータルから検索処理が体験できます。検索キーワードの「意味」を理解して検索するセマンティックサーチを行うので、次のように微妙にタイプミスをしても、こちらの意図を汲み取って検索結果を返してくれます。また、検索結果のサマリーテキストも表示されます。 コンソールの検索ポータルで検索する例 Vertex AI Agent Builder による検索システムは、次のような構成になります。「データストア」と「検索アプリ」の2つのコンポーネントを作成して利用します。 Agent Builder による検索システムの構成図 データストアは、ドキ

1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ

以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow :  顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「

Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし

こんにちは、にゃんたです。 今回は話題になっているDifyの基本的な使い方を解説してみました😆 めちゃくちゃ便利なので是非使ってみてください！ もっと詳しく知りたいとか要望があったらコメントしてください😊 ■LINE公式で限定コンテンツ配布中！ ▼登録はこちらから行えます▼ https://liff.line.me/2004040861-3Jvq4bAG 今ならキーワード「プレゼント」と入力すると ・ChatGPTのプロンプトまとめ ・Caludeのプロンプトまとめ ・Difyのまとめ を無料でお渡ししています！ ■チャプター 00:00 オープニング 02:16 Difyとは？ 10:00 Difyの使い方 ■Dify公式リンク https://dify.ai/ ■以前の関連動画 OpenAI最新のEmebddingモデルって何が凄いのか解説してみた https://you

Release v0.5.9 - あなたのアシスタントとしてAIエージェントを作成し、ツールをカスタマイズしてください。

Release v0.5.10 - Create an AI Agent as Your Assistant and Customize Your Tools.

組織には構造化されたデータベースやきれいにフォーマットされたCSVのほか、何気なく書いたメールから複雑な技術マニュアルまでさまざまな形式のデータが大量に保存されています。検索拡張生成(RAG)は大規模言語モデル(LLM)を使用して全てのデータから適切な情報を引き出すための技術ですが、RAGを使用する際にデータの取り込みと前処理をどのように行うと効率的なのかを、RAG向けデータ前処理サービスを展開するUnstructuredが解説しました。 Understanding What Matters for LLM Ingestion and Preprocessing – Unstructured https://unstructured.io/blog/understanding-what-matters-for-llm-ingestion-and-preprocessing LLMを最大限に

Intelが2023年12月に正式発表した第14世代CoreプラットフォームのノートPC向けプロセッサ「Core Ultra」は、2023年9月に発表されたMeteor Lakeアーキテクチャがベースになっています。そんなCore UltraにはAI処理に特化したニューラルプロセッシングユニット(NPU)が搭載されており、このNPUについて海外メディアのChips and Cheeseが解説しています。 Intel Meteor Lake’s NPU – Chips and Cheese https://chipsandcheese.com/2024/04/22/intel-meteor-lakes-npu/ Core Ultraに搭載されたNPUは「NPU 3720」と呼ばれています。そんなNPU 3720には2つのニューラルコンピューティングエンジン(NCE)タイルが搭載されており、こ

GitHub Copilot、みなさん使ってますか？すでに多くの方が利用しており、「ないと困る」という方から「提案の質に問題がある」「まだまだ使えない」という方まで、様々な意見を聞きます。 筆者はGitHub Copilotに対して非常にポイティブな立場です。GitHub Copilotは使い方次第で開発速度を格段に向上させることを身をもって体験しており、これからの時代においてはGitHub CopilotなどのAIツールを使いこなせるかどうかで、個人の開発速度に非常に大きな差が出ると考えています。 重要なのは使い方次第と言う点です。前述のように様々な感想が溢れているのはAIツールの習熟度が大きく影響しているようにも感じます。AIツールは静的解析同様、利用者側の手腕が大きく問われるツールであると筆者は感じています。コマンドプロンプトエンジニアリングという言葉もあるように、AIツールを使いこ

2028年までに企業の75％がAIコードアシスタントを利用　ガートナー：AIの価値を最大化するためにROIの捉え方を変える必要がある、と提言 Gartnerは「ソフトウェアエンジニアのAIコードアシスタント使用率」に関する予測を発表した。それによると「2028年までには、企業の75％がAIコードアシスタントを利用するようになる」という。

生成AIを活用するアプリの利用が広がる中、ソフトウェアの品質管理担当者は生成AI特有の問題点への注意が必要になる。本稿では、生成AIアプリの品質を管理する際に考慮すべき点を確認する。 生成AI（人工知能）アプリ開発により、日常業務が自動化され、効率が高められることで、生産性が大幅に高まる可能性がある。OpenAIの「ChatGPT」などのツールによって、既存のアプリケーションの構築、保守、改善に新たな可能性がもたらされる。 一方で生成AIを活用するアプリは、従来のアプリとは違う形のトラブルが生じる。生成AIが生み出す幻覚（ハルシネーション）やバイアスといった問題は、テスト担当者の新たな課題として浮上する。 米国のIT企業GenpactでAIと機械学習担当のバイスプレジデント兼グローバルリーダーを務めるスリーカンス・メノン氏は、「現形式の生成AIツールにはビジネスアナリスト、開発者、テスト担

Googleは2024年2月に、生成AIのGeminiが「人種的に多様なナチス」を生成したことを謝罪し、修正できるまで人物を生成できなくする一時措置を講じました。また、Geminiに限らずほとんどのチャットAIは、センシティブな話題を振ると回答を拒否します。このように、大手AI企業は微妙な問題に直面すると臭いものにフタをするようにそのテーマへの言及そのものを回避する傾向がありますが、そのような対応は言論の自由を害することになりかねないと、専門家が警鐘を鳴らしています。 Report: Freedom of Expression in Generative AI - A Snapshot of Content Policies - The Future of Free Speech https://futurefreespeech.org/report-freedom-of-expressi

【シリコンバレー=山田遼太郎】米X（旧ツイッター）は3日、一部の有料会員向けにニュースと関連する投稿を生成AI（人工知能）で要約する機能の提供を始めた。会長のイーロン・マスク氏が率いるAI開発企業の技術を使う。ニュース記事の本文ではなくXの投稿を基に要約を作成するという。同日に新機能「ストーリーズ」を始めた。米xAI（エックスエーアイ）の対話AI「Grok（グロック）」がX上で話題のニュースな

米Xは5月3日（現地時間）、Xプレミアムユーザー限定の新機能「Stories on X」の提供を開始した。アプリの「Explore」（虫眼鏡アイコンのこと。日本では「話題を検索」）で、パーソナライズされたトレンドを要約する機能だ。Twitter時代にも似たような機能はあったが、Storiesの特徴は、オーナーのイーロン・マスク氏が推すAIチャットbot「Grok」が要約することだ。 Xのポストの画像によると、「話題を検索」の「For You」タブに並ぶトレンドに関する概要を読めるようだ。上の画像の概要は、ケンドリック・ラマーの新曲「Euphoria」がSpotifyでのストリーミング記録を更新したという内容。まとめの下に「このストーリーはX上のポストのまとめであり、更新される可能性がある。Grokは間違えることもあるので、内容は要確認」とある。 ジャーナリストのアレックス・カントロウィッツ

Gemini搭載の脅威インテリジェンス「Google Threat Intelligence」、Google Cloudで 米GoogleのGoogle Cloudは5月6日（現地時間）、サンフランシスコで開催のセキュリティカンファレンスRSA Conference 2024で、新たな脅威インテリジェンス「Google Threat Intelligence」を発表した。Google Cloudで提供を開始した。 脅威インテリジェンスとは、サイバー攻撃や悪意のあるアクターに関する情報を収集、分析、共有する取り組み。Google Cloudでは従来、2022年に買収したMandiantによる脅威インテリジェンスツール「Mandiant Threat Intelligence」を提供していた。 新ツールは、Mandiantの専門知識、Googleのマルウェア検知データベース「Virus Tot

米OpenAIと、プログラマー向けQ＆Aサービス「Stack Overflow」を運営する米Stack Exchangeは5月7日（現地時間）、AIモデルの性能を向上させ、より多くの技術情報をChatGPTに取り込む可能性があるパートナーシップを発表した。 OpenAIは、StackOverflowのAPIにアクセスし、開発者コミュニティからのフィードバックを受け取ってAIモデルの性能を向上させていく。また、ChatGPTでStack Overflowの表示（attribution）を提供する。ChatGPTのユーザーは、コーディングや技術的な質問をすると、Stack Overflowのナレッジアーカイブにある情報を参照できる。 Stack Overflowは、OpenAIのLLMで生成AIアプリ「OverflowAI」を拡張する。 両社は、これにより「コンテンツへのより深い関わりが促進さ

司法試験や医師国家試験も合格レベルという生成AI（人工知能）は、東京大学の入試問題を解けるのか。記者は生成AIスタートアップと大手予備校の協力を得て、今年の東大2次試験を対話型AI「Chat（チャット）GPT」に解かせてみた。全4回の「受験戦記」を通じ、生成AIのすごみと課題をお伝えする。3月10日、記者は東京都内の大学キャンパスの一室で英語能力テスト「TOEIC」を受験していた。必死にマークシ