Google検索の品質の悪さをどのように改善するのかなどについてスンダー・ピチャイCEOが回答したインタビューが公開される
ジャーナリストのエミリー・チャン氏がGoogleのスンダー・ピチャイCEOに独占インタビューを行い、検索にAIを取り入れているGoogleの思惑や、検索結果に表示されるページの質が悪くなっている件などについて尋ねました。 Google CEO Sundar Pichai and the Future of AI | The Circuit - YouTube Video: Alphabet CEO Sundar Pichai Lays Out Google’s AI Roadmap - Bloomberg https://www.bloomberg.com/news/articles/2024-05-09/google-parent-alphabet-is-said-to-progress-in-talks-with-hubspot 2015年のCEO就任時から「会社はAIファーストである
なぜ、最悪の業績なのに年商の20％にもあたる1億円の売上を手放してまで楽天市場から退店するのか｜鷲尾 岳 / ワシオ株式会社 3代目社長
【はじめに】 ・自己紹介こんにちは。 今年の1月にワシオ株式会社（以下ワシオ）の代表取締役社長に就任しました、三代目の鷲尾 岳（ワシオ タカシ）と申します。 鷲尾家の次男坊として1991年2月10日に生まれ、小学校5年生までは地元の公立、小６から私立の学校に転校し、中３までは福井県、高校は和歌山県にある姉妹校にて寮生活をしていました。 ここで詳しくは書きませんが、その学校の特徴として、「義務教育は最低限」「校則は生徒が主になって話し合って決める」「1年を通して大半のコマを占める”プロジェクト”という授業で目標を決め、達成に向けて何をするか生徒が決める」「やりたいことは大概やらせてもらえる」などなど、おそらくかなり一般的な学校からかけ離れた環境で多感な時期を過ごしました。 高校を卒業した後、大学で中国語を学んだので、卒業してからは父の伝手を頼って入社後すぐに中国で駐在させてくれる会社さんにご
OpenAIがAIを活用した検索サービス、もしくはChatGPTがウェブから情報を入手できるようにする拡張機能の発表を目前に控えていると、複数のメディアが報じました。発表は、Googleの年次カンファレンスであるGoogle I/O 2024が開催される2024年5月14日の前日に行われると予想されています。 OpenAI plans to announce Google search competitor on Monday, sources say | Reuters https://www.reuters.com/technology/openai-plans-announce-google-search-competitor-monday-sources-say-2024-05-09/ Apple to Power iOS 18 AI Features With In-House
こんにちは 先月末、わたしのブログで検索からの流入が急増するというお祭りが初めて発生しました。そして今は、、、、いつもの通りなのですが、祭りのあとはやはり寂しさが漂います。 ブログで検索からの流入が急増 検索される＝誰かの役に立つために まとめ ブログで検索からの流入が急増 先月末に楽天の株主優待でのeSIMの記事を2本書いたのですが、その記事に対する検索からの流入が4月末に一時的に急増しました。 わたしと同じ様に楽天の株主優待でSIMを取得した方が、その活用法を求めて4月末にいろいろ調べていたのだと推測します。 こちらはGoogle Search Consoleのクリック数のグラフですが、4月末に急増しているのがわかると思います。 これまで検索からの流入はかなり少なかったのでこの1週間だけがまさにお祭りという感じでした。そして今、検索からの流入がほぼ元に戻りつつあり祭りのあとの寂しさを感
5月7日、Googleは新たなスパムポリシー「サイトの評判の不正使用」の適用を開始しました。 これは以前から問題になっていた、いわゆる「寄生サイト」「ドメイン貸し」と呼ばれるサイトへの対処です。 この記事では、新ポリシー「サイトの評判の不正使用」の概要や現時点でわかっていることについてお届けします。 サイトの評判の不正使用とは 「サイトの評判の不正使用」とは、ホストサイトの一部を借りた第三者が、ホスト側の監視や関与なしにコンテンツを公開する行為です。 ホストサイトへの評判・評価を不正に利用して、順位を上げることを目的としている場合がこれに該当します。 SEO業界では「寄生サイト（Parasite site）」「ドメイン貸し」「サブディレクトリ貸し」などとも呼ばれます。 今回のスパムポリシーの実施については、3月のコアアップデートおよびスパムアップデートの発表時点で、5月5日に施行することが
Amazon Bedrock と Pinecone でマルチモーダル検索を行う - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、飼っている猫が寂しそうだから兄弟みたいな犬を連れてきてあげようかな、と思ったことはありませんか？ 私は猫も犬も飼ったことがないので何とも言えませんし、なぜ犬かはさておき、マルチモーダル検索を使えばそんな要望にも応えることができます。 茶トラにはレトリーバーがお似合い 概要 マルチモーダル検索 Titan Multimodal Embeddings Pinecone 構成 Titan Multimodal Embeddings でベクトル化する Pinecone で類似画像を検索する できること テキストでの検索 画像での検索 カテゴリを指定した検索 処理時間
「コンテンツマーケティングってなに？」 「他医院との差別化や集患はできるの？」 このような疑問をお持ちではありませんか？ 多くの患者さんは、通いやすさや混雑状況だけで歯医者を選んでおり、医院ごとの強みや取り組みの違いが伝わりにくいのが現状です。 コンテンツマーケティングを活用すれば、患者さんに自医院の強みや取り組みが伝わり、求める患者層を効果的に集患ができます。 この記事では、コンテンツマーケティングを通じて集客に成功した歯医者の実例も含めて解説します。 この記事のトピック コンテンツマーケティングとは？ 歯医者がコンテンツマーケティングを行うべき理由とおすすめの種類 歯医者のコンテンツマーケティングの成功事例とコツ この記事を読めば、コンテンツマーケティングの活用方法が明確になり、すぐにでも取り組めます。ぜひ参考にしてください。 コンテンツマーケティングとは？ コンテンツマーケティングと
PCを使っていると、過去の操作内容やブラウザで閲覧していた情報を思い出したくなるタイミングが頻繁に発生します。そんな時に役立ちそうなPC操作記録アプリ「Windrecorder」がオープンソースで開発されています。 GitHub - yuka-friends/Windrecorder: Windrecorder is a memory search app by records everything on your screen in small size, to let you rewind what you have seen, query through OCR text or image description, and get activity statistics. https://github.com/yuka-friends/Windrecorder I made an o
Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし
Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
Windows 11ではスタートメニューの検索バーで、Windows 10ではスタートアイコン横の検索ボックスか検索アイコンで、PC内を検索して一致する結果を呼び出すことができます。しかしこの時、同時に入力したキーワードでBingのWeb検索候補も表示されるため、検索結果が表示されるまで数秒待つ必要があります。テクノロジー系メディアのTom's Hardwareの編集長であるアブラム・ピルチ氏が、WindowsのWeb検索機能を無効にするための操作について解説しています。 How to Disable Windows Web Search and Speed Up Your PC | Tom's Hardware https://www.tomshardware.com/how-to/disable-windows-web-search Windows 11でWindowsキーを押して「g
やってはいけないこと (2356)やらないほうがよいこと (983)コミュニケーション (772)やってよかったこと (730)やったほうがよいこと (727)生活 (688)してはいけないこと (596)学校 (563)対人関係 (546)やらなかったほうがよかったこと (480)ADHD (474)やらなければよかったこと (417)人間関係 (386)友人関係 (374)インターネット (370)あの時こうしてれば… (327)恋愛 (316)学生 (298)食事 (283)ASD (280)した方がよいこと (261)性 (256)大学 (244)こうしたほうがよかったこと (239)友人 (238)対人コミュニケーション (229)黒歴史 (219)仕事 (201)メンタル (199)高校 (181)失敗したこと (181)気をつけるべきこと (173)ライフハック (170)健
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
写真家とアセットクリエイターによるサイト「ShareTextures」では、実際に撮影した写真やロイヤリティフリーの写真から作成した3Dモデルやテクスチャを配布しています。コンテンツはすべてCC0ライセンスのため、個人・商業問わず自由にダウンロードして活用することができます。 CC0 Textures & Models | Share Textures https://www.sharetextures.com/ サイトをスクロールしていくと、ShareTexturesの説明を見ることができます。ShareTexturesではAtlases(複数のテクスチャをひとつにまとめた自然素材)、Textures(テクスチャ)、Models(3Dモデル)の3カテゴリがあります。Atlasesは木や石、貝など、記事作成時点では37種類。 テクスチャは1502種類から選ぶことができます。 また、3Dモデ
RAGにおいてLLMが「役立たない情報を無視」できるようにする『RAFT』QAタスクで従来の手法を大幅に上回る結果を達成 | AIDB
背景 LLMは、膨大な量の公開データで学習することにより、幅広い一般知識推論タスクで著しい進歩を遂げてきました。一方で、LLMが特定の分野のタスクに用いられる場合、一般的な知識推論よりも、与えられた文書に対して正確であることが強く求められています。例えば最新のニュースや企業の非公開文書などに適応させることは課題になっています。 LLMを特定分野に適応させる際、検索拡張生成（RAG）を用いたコンテキスト学習と、教師あり微調整（supervised fine-tuning）の2つの手法が主に考えられます。 RAGベースの手法は、LLMが質問に答える際に文書を参照するものです。この手法では、モデルが事前に学習しているわけではありません。外部のナレッジベースから関連情報を取得することで問題解決能力を向上する（比較的リーズナブルな）アプローチです。 教師あり微調整は、文書からより一般的なパターンを学
Vertex AI Agent Builder の検索システムを Python SDK から試してみる
はじめに Vertex AI Agent Builder で作る検索システム Vertex AI Agent Builder（旧 Vertex AI Search & Conversation）を使用すると文書検索システムが簡単に構築できて、コンソール上のデモ用検索ポータルから検索処理が体験できます。検索キーワードの「意味」を理解して検索するセマンティックサーチを行うので、次のように微妙にタイプミスをしても、こちらの意図を汲み取って検索結果を返してくれます。また、検索結果のサマリーテキストも表示されます。 コンソールの検索ポータルで検索する例 Vertex AI Agent Builder による検索システムは、次のような構成になります。「データストア」と「検索アプリ」の2つのコンポーネントを作成して利用します。 Agent Builder による検索システムの構成図 データストアは、ドキ
Googleの｢約束破り｣が示す検索市場の"危うさ"
ついに日本の当局が、「検索王」にクギを刺した。 公正取引委員会は4月22日、アメリカのIT大手・グーグルに対し、ヤフー（現LINEヤフー）への検索関連技術の提供をめぐり、独占禁止法に基づく行政処分を下した。 グーグルは独禁法に違反する疑いのある行為をすでにとりやめており、同法の「確約手続き」に基づいて今後の改善措置をまとめた計画を提出。そのため法違反こそ免れたが、計画の認定をもって、グーグルが初めて公取委から処分を下されるケースとなった。 提携4年で変更された契約の中身 メスが入ったのは、グーグルとヤフーが2010年に結んだ技術提携の中身だ。 グーグルは2010年からヤフーに対して、検索エンジンと検索連動型広告の技術を提供してきた。その技術を基に、ヤフーは自社のポータルサイトだけでなく、外部のポータルサイトなどの広告枠も活用した配信事業を展開。例えば「空気清浄機」と検索したユーザーの画面に
Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証 | Amazon Web Services
Amazon Web Services ブログ Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証 By Kazuki Motohashi, Ph.D., Partner Solutions Architect, AI/ML – AWS Japan By Kazuhito Go, Sr. AI/ML Specialist Solutions Architect – AWS Japan By Kenjiro Kondo, TELCO Solutions Architect – AWS Japan 生成 AI は会話、ストーリー、画像、動画、音楽などの新しいコンテンツやアイデアを作成できる AI の一種です。生成 AI によりアプリケーションが再発明され、新しいカスタマーエクスペリエンスが提供されます
本記事では、「Adaptive-RAG」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、Adaptive系で現在、最も「コスパ」が良いとされる「Adaptive-RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの回答精度を高めるための手法です。韓国科学技術院（KAIST）の研究者らによって2024年3月に提案されました。「Adaptive-RAG」という手法を使うメリットは、ユーザーからの入力としてシンプルな質問・複雑な質問、どちらも想定される場合に、「そこまで遅くなりすぎずに、ある程度の回答精度がでる」という点
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！ - Qiita
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！AWSragbedrockCohereCommand-R+ GW真っ只中の4/30、Amazon BedrockにCohere Command RとCommand R+がやってきました！！🎊🎊🎊 Command R+はただのテキスト生成の枠を超えたAPIになっています！（と勝手に解釈しています！！） いろいろ特徴がありそうですが、まずは、RAGをやってみました。 なにがすごいの？ Command R+のInvoke ModelのBodyが特徴的で、 documentを渡す専用項目があります 。
「この人は保守派だ」「この人はリベラル政党を支持している」といった傾向を判断するには、通常はその人の言動などを分析する必要があります。しかし、スタンフォード大学経営大学院の研究チームが、顔認識技術とAIを組み合わせることで、顔を見るだけでその人の政治的指向を正確に評価できると主張しています。 Facial Recognition Technology and Human Raters Can Predict Political Orientation From Images of Expressionless Faces Even When Controlling for Demographics and Self-Presentation https://awspntest.apa.org/fulltext/2024-65164-001.html AI Can Tell Your Pol
最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug
以下の文章は、コリイ・ドクトロウの「The specific process by which Google enshittified its search」という記事を翻訳したものである。 Pluralistic どんなデジタルビジネスでも、技術的には「メタクソ化」できる。つまり、ビジネスの根本的な機能をユーザごとにリアルタイムで変更できるため、ビジネス顧客、エンドユーザ、株主の間で価値を素早く移転できるのだ。 https://pluralistic.net/2023/02/19/twiddler/ このスレッドをエッセイ形式で読んだり共有したい方は、私の監視フリー、広告フリー、トラッキングフリーのブログ、pluralistic.netをチェックしてほしい（訳注：もともとのテキストはTwitter上のスレッドに書かれている）。 https://pluralistic.net/2024/0
![Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4daf0a0787400227544a080cbf566e75f4290bdf/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoogle-enshittifier.jpg)
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
その他のサンプル: Wikipedia:良質な記事, Wikipedia:長いページ 紹介 「テキストゆれないくん」は文章に含まれる表記揺れを検出するツールです。「コンピュータ」と「コンピューター」、あるいは「全て」と「すべて」といった同じ単語の別表記が使われていないかどうかをチェックできます。 「テキストゆれないくん」は元々このサイト (https://inzkyk.xyz/) の文章校正用に開発されました。機能が成熟してきたので UI を付けて公開します。 このページから手動で使う限り、「テキストゆれないくん」は商用/非商用を問わず自由に使って構いません。「テキストゆれないくん」は無保証で提供されます。 特徴 ウェブブラウザから使える このページをウェブブラウザで開いているなら、「テキストゆれないくん」は既に動いています。このページの最初にあるのは「テキストゆれないくん」を使うための完
生成AI (Cohere)＋LangChain＋Vector Database (PostgreSQL)でRAGを試してみた - Qiita
生成AI (Cohere)＋LangChain＋Vector Database (PostgreSQL)でRAGを試してみたPostgreSQLlangchainLLMVectorStorepgvector 生成AIを企業が使う場合、社内データを使った回答を得るにはファインチューニング、もしくは Retrieval-Augmented Generation (RAG、検索拡張生成) を行う必要があります。 企業では毎日データが更新される中で、ファインチューニングを頻繁に行うのはコスト高で現実的ではありません。 そこでRAGを使った方法が注目されています。 ということで、今回は以下の組み合わせでRAGを試してみました。 生成AI: Cohere Command Vector Database: PostgreSQL (pgvector) 生成AIとVector Databaseの連携: La
以下の文章は、コリイ・ドクトロウの「Too big to care」という記事を翻訳したものである。 Pluralistic Google検索を初めて使ったときのことを覚えているだろうか。まるで魔法にかかったようだった。Altavistaや Yahooの検索品質が徐々に劣化していく中にあって、Googleは文字通り卒倒ものだった。インターネットへの最高の入り口だったのだ。 今日、Googleは検索市場の90%のシェアを占めている。彼らはその地位を力ずくで手に入れた。Googleは数百億ドルを賄賂に費やして、あらゆるデバイス、あらゆるサービス、あらゆるウェブサイトの検索ボックスの裏側にあるデフォルト検索エンジンの地位を確実にしている。 https://pluralistic.net/2023/10/03/not-feeling-lucky/#fundamental-laws-of-econo
![なぜGoogleは“あなたの不満”を無視できるのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/df1fbcfb853756284b40841e70fc320268975ba8/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2F04Apr2024.jpg)
基本概念から理解するAzure AI Search - Azure OpenAI Serviceとの連携まで - 電通総研 テックブログ
こんにちは。XI 本部AIトランスフォーメーションセンター所属の山田です。 先日、部内の勉強会でAzure AI Searchについて紹介したので、テックブログでもその内容を紹介したいと思います。 Azure AI Searchとは？ Azure AI Searchに保存されるデータに関する用語と概念 Azure AI Searchのスケーラビリティに関する用語と概念 Azure AI Searchでサポートされる検索の仕組み 全文検索について Azure AI Searchのアナライザー ベクトル検索について ベクトルの近傍検索アルゴリズム ハイブリッド検索 検索インデックスのスキーマ設計 検索インデックスにドキュメントを追加する方法 Pushモデル Pushモデルを利用する場合のアーキテクチャの例 Pullモデル Pullモデルを利用する場合のアーキテクチャの例 インデクサーの計算リソ
AnthropicAI Tool で Retrieval-Augmented Generation を実装してみた
LangChain なんか使わなくてもシュッと作れたので記事にしておく。 RAG とは 生成AIに検索能力をもたせるやつ。 要は検索機能をこちらで提供してやって、AIにそれを読ませる。 AnthropicAI Tool OpenAI でいう Function Calling JSONSchema で関数シグネチャを与えると、それを使うDSLを生成する。実際の関数は自分で実装して、AI が生成した引数(JSONSchema に従う)を渡す。 TypeScript の Mapped Types でツールの実装部分に型をつける簡単なラッパーを書いた。 RAG の CLI を作る Google検索をするAPIを実装 Google Custom Engine API を使った 本文要約をするAPIを実装 Mozilla の実装を使った 与えられた URL を fetch して、その本文部分を抽出する
はじめに こんにちは。検索基盤部 検索技術ブロックの今井です。 検索基盤部では検索機能や検索精度を改善する中で検索クエリの意図解釈にも取り組んでいます。ZOZOTOWNで検索窓にクエリを入力して検索ボタンを押すと、クエリに応じて検索の絞り込み条件に変換するクエリ解釈機能の処理が動作します。 例えば、「ワンピース 白色」と検索した時、「ワンピース」を洋服のカテゴリー、「白色」を色のカテゴリーと解釈し、「白色のワンピース」を検索する絞り込み条件に変換します。 2024年5月現在ではスマートフォン向けWebサイト（https://zozo.jp/sp/xxx）とアプリのみ、クエリ解釈機能の処理が適用されています。クエリ解釈機能では意図解釈や検索の絞り込み条件に変換しています。 現在はシンプルな辞書ベースの手法を用いていますが、カバーしきれない課題も出てきており、改善のモチベーションが少しずつ上が
Heroku PostgresとAWS BedrockとHugging FaceでRAGを作ってみた - Qiita
2023年11月にHeroku Postgresql 15 がpgvectorに対応しました。これによりHeroku Postgresがベクトルデータベースとして利用できるようになりました。 本記事では、最近話題のClaude2.1やText Embeddingと組み合わせ、Heroku Postgres内データを元に生成AIが回答してくれる、 Retrieval Augment Generation (RAG) を試作し、実際どんな回答を返してくれるか？検証してみました。 今回使用したもの 個人的に興味のあるものや、使いやすいものを選びましたので、特にこの組み合わせでないといけないわけではないです。 ■ ベクトルデータベース & ナレッジベース Heroku Heroku Postgres (PostgreSQL) pgvector ※今回の主役！ ■ 大規模言語モデル AWS Bedr
by Anthony Ryan ウェブ検索市場では、Googleが長年圧倒的なシェアを占めていますが、Google検索の品質は年々悪化していることが研究で示されています。そんなGoogle検索の品質がなぜ悪化したのか、イギリスのジャーナリストであるエドワード・ジトロン氏が自身のニュースレターで解説しています。 The Man Who Killed Google Search https://www.wheresyoured.at/the-men-who-killed-google/ 2018年から2020年までグーグルの検索部門の責任者を務めていたベン・ゴームズ氏はGoogle黎明期からの中心メンバーで、検索エンジンの設計にも携わっています。 by OFFICIAL LEWEB PHOTOS ゴームズ氏は、検索結果の関連性を高めるために、「ページランク」と呼ばれるアルゴリズムを単一マシンで
Wanna listen to this story instead? Check out this week's Better Offline podcast, "The Man That Destroyed Google Search," available on Apple Podcasts, Spotify, and anywhere else you get your podcasts. This is the story of how Google Search died, and the people responsible for killing it. The story begins on February 5th 2019, when Ben Gomes, Google’s head of search, had a problem. Jerry Dischler,
ついに来た Firebaseでベクトル検索
はじめに Firebaseでベクトル検索ができるようになったとのことなので、試してみました！ そもそもベクトル検索って何ってところからGPTに質問しながらなんとかできた感じなので、解釈が間違っていたり説明が不十分な箇所もあるかと思いますが、こんなことができるんだという参考になれば幸いです。 今回やりたいこと ベクトル検索ができると聞き、真っ先に思い浮かんだのが去年開発したポケモン対戦記録アプリの類似対戦検索機能です。 「過去の対戦から今回の対戦相手のパーティと相手のパーティが似ている順にソートして取得する」です。 理由は説明すると長いので、興味のある人だけ読んでみてください。 なぜ似ている順にソートして取得したいか ポケモン対戦において最もよく遊ばれているルールの1つに相手と自分のパーティ6匹を見せ合って、実際に戦闘に繰り出す3匹を決めて3vs3で戦う6→3というルールがあります。 この時
以下の文章は、コリイ・ドクトロウの「Google reneged on the monopolistic bargain」という記事を翻訳したものである。 Pluralistic 驚くべきことに、かつてAltavistaやYahooをふっと飛ばし、魔法の検索ツールで世界を驚かせたGoogleが、突如クソの山になってしまった。 Googleの検索結果はひどいものだ。ページの上部はスパム、詐欺、広告だらけだ。始末に終えないのは、その広告も詐欺だらけなのだ。時には、資金力のある敵対者がGoogleを出し抜いて大金を稼ごうと大掛かりな詐欺が試みることもある。 https://www.nbcnews.com/tech/tech-news/phone-numbers-airlines-listed-google-directed-scammers-rcna94766 しかし通常、こうした詐欺を働くのは
![かくしてGoogleはスパマーに敗北した | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/a3e1fdf42c7dd4fc729644f9cd286ef877f95066/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoog-sleeping-watchdog.jpg)
AWS 入門ブログリレー 2024 〜Knowledge bases for Amazon Bedrock編〜 | DevelopersIO
Knowledge bases for Amazon Bedrock について2024年04月22日時点の情報をさらぁっとまとめてみました。AWSサービス入門記事として是非ご活用下さい。 こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_） です。 当エントリは弊社 AWS 事業本部による『 AWS 入門ブログリレー 2024』の 29 日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアッ
複数の関連度から検索可能な BGE M3-Embedding の紹介 - Algomatic Tech Blog
こんにちは。Algomatic の宮脇（@catshun_）です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation おことわり 本記事では精読レベルの 詳細な解説は含みません。 詳細については 参照元の論文をご確認ください。 不十分また不適切な言及内容がございましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事で紹介する 論文 は Work in progress とコメントされており今後内容が更新される可能
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
モダンなエクスプローラー代替「Files」がファイル検索ツール「Listary」とタッグ／［Ctrl］キー2回で呼び出し、OSのファイルダイアログも使いやすく
OpenAIが2024年5月13日にGoogleのライバルとなる「AI検索エンジン」を発表するとの報道
お祭り！そして、祭りのあと、、、 - FIREとサブスリーを50代で達成する！
Google、寄生サイトへの新スパムポリシーを適用開始。「サイトの評判の不正使用」に手動対策 -webma-
いつの間に？ Google検索、ページ上部の検索結果数が非表示に。このまま消滅か【やじうまWatch】
歯医者のコンテンツマーケティングは効果的？おすすめの集患方法を紹介 -webma-
PCの操作をすべて録画＆文字起こしして過去の操作を丸ごと検索可能にするアプリ「Windrecorder」
話題のローコードツール「Dify」で生成AIアプリを作ってみよう！ - Qiita
Windows 11と10で動作を遅くしていると指摘されるスタートメニューのWeb検索を無効化する方法は？
タグ検索: やってはいけないこと, 友人関係, 友人
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
無料でハイクオリティなCC0の3Dモデルやテクスチャをダウンロードしまくれる「ShareTextures」
RAGに質問分類させる「Adaptive-RAG」の解説
AIは顔を見ただけで「保守派」「リベラル派」などの政治思想を特定できる可能性
Arize Phoenixで始めるお手軽RAG実験管理 - Re:ゼロから始めるML生活
Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
表記揺れ検出ツール「テキストゆれないくん」 - inzkyk.xyz
なぜGoogleは“あなたの不満”を無視できるのか | p2ptk[.]org
ZOZOTOWNのクエリ解釈機能の改善に向けたAPIリプレイスの取り組み - ZOZO TECH BLOG
Google検索の品質悪化はリーダーが変わったことの影響だという指摘
The Man Who Killed Google Search
「スマホOS」寡占するアップル／グーグルを規制する法案、自民党でとりまとめ終わる 今国会成立へ
かくしてGoogleはスパマーに敗北した | p2ptk[.]org