タグ

searchに関するmichael-unltdのブックマーク (72)

  • 生成 AI による検索体験 (SGE) のご紹介

    Google は、20 年以上前に日Google 検索の提供を開始しました。それ以来、常により良い体験となるよう機能をアップデートしてきました。AI機械学習の進歩により、Google の検索システムはこれまで以上に人間の言語を理解することができるようになりました。そして日より、国内で Google 検索の新機能として生成 AI による検索体験 (SGE -Search Generative Experience) の日語版の試験運用を開始します。 Search Labs に Google アカウントを登録することで、デスクトップの Chrome ブラウザと スマートフォンの Google アプリ( Android および iOS )でご利用いただけます。 生成 AI による検索の進化生成 AI の新たな技術進歩により、検索エンジンの更なる可能性を再考することができ、新しいタイ

    生成 AI による検索体験 (SGE) のご紹介
  • AI搭載型のECサイト内検索 - goo Search Solution(gooサーチソリューション) |

    製品概要トップ goo search solutionはAIを活用したサイト内検索です。人手では実現できない、AIならではの自動最適を実現します。 選ばれる3つの理由

  • 生成AIの活用例を紹介!Vertex AI Searchによる技術サポート窓口支援ツール - G-gen Tech Blog

    G-gen の堂原です。記事では Google Cloud (旧称 GCP) の生成 AI サービスである Vertex AI Search の活用事例として、技術サポート窓口支援ツールを紹介します。 はじめに ツールの概要 デモ 処理フロー 技術的ポイント Vertex AI text-bison model Vertex AI Search 生成 AI アプリケーションの開発 はじめに 当記事では、G-gen の技術サポート窓口にて実際に運用されている生成 AI アプリケーションである Tech Support Powered by Generative AI(以降、「ツール」)について解説します。 G-gen では Google Cloud および Google Workspace の請求代行サービスを契約いただいているお客様に、無償の技術サポート窓口を提供しています。この窓口

    生成AIの活用例を紹介!Vertex AI Searchによる技術サポート窓口支援ツール - G-gen Tech Blog
    michael-unltd
    michael-unltd 2023/11/22
    “本ツールは、お客様より Google Form で問い合わせが投稿されると「その問い合わせに類似する過去ケース」「関連する公式ドキュメント」「G-gen Tech Blog 記事」から検索を行い、関連情報を取得します。”
  • 【Google Cloud】Enterprise Searchで社内ドキュメントを検索してみた | DevelopersIO

    はじめに 新規事業部 山です。 ChatGPTOpenAI API)をはじめとしたAIの言語モデル(Large Language Model:以下、LLM)を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えばある社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が(当然ながら)得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation(以下、RAG)という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力(プロンプト)に付け加えて渡すことで、ユーザが欲しい情報に関して

    【Google Cloud】Enterprise Searchで社内ドキュメントを検索してみた | DevelopersIO
  • Google Cloud Enterprise SearchとRetrieveReadCompose方式RAGを利用して社内公式情報を全部質問できるようにしてみた | DevelopersIO

    取り出したドキュメントから質問に関連する情報を取り出すステップです。通常のRAGではこのステップがありません。今回の方式では、Retrieveで取り出した個々のドキュメントに対して、それぞれ情報を抽出する処理を実行するようにしました。(なので、取り出されたドキュメントの個数分だけ、この処理が繰り返し実行されます) 取り出した情報をもとに、質問に対する回答を生成するステップです。通常のRAGでは、取り出したドキュメントを、そのまますべて含めて回答を生成するためのプロンプトに入れ込んで生成します。今回の方式では、Readで取り出した情報のみをプロンプトに入れ込む点が異なります。 狙い 個々にドキュメントをReadしてからComposeすることで、情報抽出の機能と回答生成の機能を分けることができるため、以下の点がメリットになることを期待してこの方式にしました。 必要な情報が取り出されやすい 回答

    Google Cloud Enterprise SearchとRetrieveReadCompose方式RAGを利用して社内公式情報を全部質問できるようにしてみた | DevelopersIO
    michael-unltd
    michael-unltd 2023/09/25
    “今回は、エンタープライズ検索を使用してRAGを構成する + RAGの方式を改良することで、生成される回答を改善できた内容について記載します。具体的には、社内のNotionの情報を検索して回答するために、GCPのGen App Builder(
  • RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO

    はじめに 新規事業部 山です。 ChatGPTOpenAI API)をはじめとしたAIの言語モデル(Large Language Model:以下、LLM)を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が(当然ながら)得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation(以下、RAG)という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力(プロンプト)に付け加えて渡すことで、ユーザが欲しい情報に関して回答

    RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
    michael-unltd
    michael-unltd 2023/09/25
    “以前の記事では、新たにRAGの方式を考え、Google CloudのVertex AI Search(Enterprise Search)を使ってシステムを構築し、ドキュメントをもとにした詳細な回答を生成できることを確認しました。 Google Cloud Enterprise SearchとRetrieveReadCo
  • Zennを例に Gen App Builder の Enterprise Search 活用方法を考察する

    Generative AI App Builder の Enterprise Search は、現在許可リストに登録されたユーザーの一部が利用できます(Trusted Tester Program)。ブログにするのは問題ないとのことで執筆しています。記事内で掲示しているスクリーンショットやコマンドは、GA時とは異なる可能性があります。 2023年6月、Generative AI App Builder の Enterprise Search(以下、Enterprise Search)に関するブログが投稿されました。 その後、Wait list への登録が始まったので、Zennの検証プロジェクトも登録、待機していたところ、先日使えるようになりました。最初に使用感を紹介します。 まずは使ってみる Google Cloud の Gen App Builder 管理画面を開きます。 https:/

    Zennを例に Gen App Builder の Enterprise Search 活用方法を考察する
    michael-unltd
    michael-unltd 2023/09/13
    “プレビューで利用しましたが、API経由での利用も可能です。Google Cloud のコンソールからコマンドを取得できます。”
  • Cognitive Searchの生成AI用ベクトルDBの構築手順書 - Qiita

    はじめに この記事は、現在(2023年8月4日時点)パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事です。公式ドキュメントにはクイックスタート記事も公開されており、こちらのブログで日語で丁寧に解説してくれています。 公式ドキュメントのクイックスタートを読んでいると、下記の課題に遭遇します。 PDFなどのドキュメントはどのように扱えばいいか? チャンク分割やベクトル生成は具体的にどのように行えばよいか? 言語アナライザーを日にするにはどこを変えればよいか? インデックスを自動更新するにはどうすれば良いか? このような課題に対して、Azure公式のGitHubリポジトリにあるcognitive-search-vector-prにあるインデックス作成ツール(azure-search-vector-ingestion-py

    Cognitive Searchの生成AI用ベクトルDBの構築手順書 - Qiita
  • Vertex AI Embeddings for Text で実現する LLM のグラウンディング | Google Cloud 公式ブログ

    Ivan CheungDeveloper Programs Engineer, Google Cloud ※この投稿は米国時間 2023 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 いま多くの人々が、ジェネレーティブ AI や大規模言語モデル(LLM)を実運用サービスにどのように導入すればよいか検討を始めています。しかし、例えば「既存の IT システムやデータベース、ビジネスデータと LLM や AI チャットボットをどのように統合すればいいだろうか」、「数千もの製品を LLM に正確に覚えさせるにはどうすれば良いだろうか」、あるいは「信頼性のあるサービスを構築するためにハルシネーションの問題をどのように扱えば良いか」といった課題と直面することになります。 これらの課題に対するシンプルな解決策となるのが、エンべディング(embeddings)と

    Vertex AI Embeddings for Text で実現する LLM のグラウンディング | Google Cloud 公式ブログ
    michael-unltd
    michael-unltd 2023/05/30
    “前述の Stack Overflow のデモの開発では、以下のアーキテクチャを持つシステムを構築しました。Stack Overflow semantic search demo architectureこのデモのアーキテクチャは2つのパートで構成されています。1つ目は Vertex AI Workbench と Bi
  • BigQueryで多段ビューのキャッシュの挙動をみてみる | DevelopersIO

    データアナリティクス事業部の鈴木です。 今回はBigQueryで多段ビューを検索したときの、キャッシュの挙動について確認してみました。 BigQueryでは同じクエリを重複して実行すると、ユーザー別・プロジェクト別に保存されたキャッシュされた結果を利用することができます。 多段ビューは仕様の複雑化やパフォーマンスへの影響を招く可能性があるため、使う場面は選ばれますが、BigQueryではビューの検索結果もキャッシュされるため、選択肢の一つとして、どのような動きをするのか調べてみました。 準備 テーブル・ビューの作成 以下のようにテーブルとビューを作成します。 今回は3層になるようテーブルとビューを作ります。基的に深い多段にはせず、ビューは2層程度までだろうと考え、合計3層で検証しました。 まず、あらかじめsample_datasetという名前のデータセットを作っておき、テーブルを以下の

    BigQueryで多段ビューのキャッシュの挙動をみてみる | DevelopersIO
  • オープンソース全文検索サーバー Fess

    利用環境 Apache ライセンスで提供 (フリーソフトなので、無料で利用可能) Java環境またはDocker環境で利用(OS非依存) OpenSearchまたはElasticsearchを検索エンジンとして利用 用途に応じて柔軟に対応可能な設計 クロール Web、ファイルシステム、Windows共有フォルダ、データベースをクロール MS Office(Word/Excel/PowerPoint) や PDF など多くのファイル形式に対応 リクエストヘッダーに情報付加、重複ドメインの設定、検索結果のパス変換 OCRなどの外部テキスト抽出対応

    オープンソース全文検索サーバー Fess
  • Amazon CloudSearchで日本語文書を検索する | DevelopersIO

    Amazon CloudSearchが大幅アップデート 先日、CloudSearchが大幅アップデートされたということでニュースになっていました。日語を含む多くの言語に対応し、自動補完、位置情報、フィールドタイプ、MultiAZ、IAM対応など盛りだくさんです。そこで、今回はCloudSearchの使い方や使いどころをご紹介します。 基的な使い方 CloudSearchの使い方は3ステップです。ドメインの作成、文書のアップロード、そして検索です。順番に見て行きましょう。 ドメインの作成 管理コンソールからCloudSearchを選んでドメイン作成を選択してください ドメイン名、インスタンスタイプ、レプリケーション数を決めます。まずはお試しとして最小構成を指定します。 次にドメイン内に定義するインデックスのフィールドを指定します。自分でゼロから定義することもできますが、文書をアップロード

    Amazon CloudSearchで日本語文書を検索する | DevelopersIO
    michael-unltd
    michael-unltd 2015/02/20
    "なんちゃって個人情報"というサービスがある
  • seekR - 統計分析ソフトウェア R のための検索エンジン

    統計分析ソフトウェア R のための検索エンジンです。R 言語に関する内容に特化した検索結果を表示します。

  • ソーシャル・ニュースリーダー「Crowsnest」におけるTwitterのリアルタイム解析と情報整理の未来

    How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow

    ソーシャル・ニュースリーダー「Crowsnest」におけるTwitterのリアルタイム解析と情報整理の未来
    michael-unltd
    michael-unltd 2012/02/03
    Blogopolisのなかのひとの作品スライド
  • プレスリリース | 世界初のWeb情報分析システム“WISDOM”を開発、分析サービス開始 | NICT-情報通信研究機構

    独立行政法人情報通信研究機構(以下「NICT」という。理事長:宮原 秀夫)けいはんな研究所知識創成コミュニケーション研究センターでは、5億を超える日語Webページを対象に、発信者の分析、評価情報の抽出、対立する情報の抽出など様々な観点からの分析が可能なWeb情報分析システム“WISDOM”(Web Information Sensibly and Discreetly Ordered and Marshaled)を開発し、この度、“WISDOM”の分析サービスを正式に開始しました。 Web情報分析システムWISDOM: http://wisdom-nict.jp/ 現在、Webは仕事や日常生活の様々な場面において意思決定する際の重要な情報源の一つとなっています。ブログなどに代表される消費者発信メディアの普及により、多様な商品やサービスに関するクチコミ情報など、今まで得られなかったような情

  • CHIZULLA-有名スポーツ選手!

    あなたが思うカリスマ性のあるスポーツ選手は誰ですか?と聞くと、それぞれに思う選手が必ずいることと思います。例えば、元大リーガーのイチロー選手、サッカー日本代表田圭佑選手、フィギュアスケートの羽生結弦選手など当にたくさんの選手が挙げられることでしょう。では、カリスマ性とは何なのか今一度振り返ってみたいと思います。辞書によると「人々の心を引きつける強い魅力があること。多くの人から支持されること。」だそうです。確かにカリスマ性を感じるアスリートからは強い魅力が発せられているように見えます。 その通りに、2018年の好きなスポーツ選手ランキングではイチロー選手や羽生弓弦選手、大谷翔平選手などが上位にランクインしています。カリスマ性のある選手は好かれやすいという傾向は物と見てよいでしょう。 では、私たちが彼らのどこにカリスマ性を感じるかというと、まず良い成績を残していることが大前提でしょう

    michael-unltd
    michael-unltd 2010/10/26
    地図から電話帳の発想!
  • MySQLでTF-IDFの計算、あと2つのベクトルの内積の計算 (2006-12-19)

    文を形態素分解し、必要な品詞をtfテーブルとdfテーブルに入れる。分析対象となる文書群すべてについてこの処理を行い、各形態素のTF-IDF値を求めて文書をベクトル化する。他の文書ベクトルと内積を比較し、小さい順に「似ている記事」を求めたい (クラスタリングとかは別途)。 HarmanによるTF値の正規化とSparok JonesによるDF値の正規化をする場合のTF-IDF値の計算式は以下のようになる (参考文献): tfidf(i,j) = log2(freq(i,j) + 1) / log2(NoT) * (log2(N / Dfreq(i)) + 1)

  • はてなブックマーク全文検索機能の裏側

    そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu

    はてなブックマーク全文検索機能の裏側
  • 完全自動型検索エンジン『アンドロイド』

    [PR]御社のサ-ビスにも”自動検索エンジン”機能を実装しませんか? 検索キーワードの入力すら省ける時代の到来です! ユーザの属性・趣旨趣向に合わせ、任意の検索結果に誘導する事が実現できます。 どのようなサービス、コンテンツでも自動検索エンジンに対応できます。(ただし例外もあり) しばらくは商用、非商用問わず無償で対応させて頂きます。(ただし、事前審査制) お気軽に、satoru.netまでお問い合わせくださいませ。 ©satoru.net 2007.04.24

    michael-unltd
    michael-unltd 2008/09/30
    自動検索
  • ジェネリック医薬品検索 ジェネリックガイド

    「ジェネリック医薬品」は、先発医薬品と成分・効能が同じお薬です。 このサイトでは、いつもお使いのお薬の名前から、弊社推奨*の「ジェネリック医薬品」を検索することができます。 *日調剤では患者様にご不便をおかけしないように「安定供給が可能なのもの」を最優先とし、 その中からなるべく負担が少なくなる「低薬価」の薬剤を選んでいます。 *医薬品の検索候補は「医薬品名称(一般名称)」の形で表記しています。

    michael-unltd
    michael-unltd 2008/09/27
    ジェネ検