以下の文章は、コリイ・ドクトロウの「Google reneged on the monopolistic bargain」という記事を翻訳したものである。 Pluralistic 驚くべきことに、かつてAltavistaやYahooをふっと飛ばし、魔法の検索ツールで世界を驚かせたGoogleが、突如クソの山になってしまった。 Googleの検索結果はひどいものだ。ページの上部はスパム、詐欺、広告だらけだ。始末に終えないのは、その広告も詐欺だらけなのだ。時には、資金力のある敵対者がGoogleを出し抜いて大金を稼ごうと大掛かりな詐欺が試みることもある。 https://www.nbcnews.com/tech/tech-news/phone-numbers-airlines-listed-google-directed-scammers-rcna94766 しかし通常、こうした詐欺を働くのは
![かくしてGoogleはスパマーに敗北した | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/a3e1fdf42c7dd4fc729644f9cd286ef877f95066/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoog-sleeping-watchdog.jpg)
以下の文章は、コリイ・ドクトロウの「Too big to care」という記事を翻訳したものである。 Pluralistic Google検索を初めて使ったときのことを覚えているだろうか。まるで魔法にかかったようだった。Altavistaや Yahooの検索品質が徐々に劣化していく中にあって、Googleは文字通り卒倒ものだった。インターネットへの最高の入り口だったのだ。 今日、Googleは検索市場の90%のシェアを占めている。彼らはその地位を力ずくで手に入れた。Googleは数百億ドルを賄賂に費やして、あらゆるデバイス、あらゆるサービス、あらゆるウェブサイトの検索ボックスの裏側にあるデフォルト検索エンジンの地位を確実にしている。 https://pluralistic.net/2023/10/03/not-feeling-lucky/#fundamental-laws-of-econo
![なぜGoogleは“あなたの不満”を無視できるのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/df1fbcfb853756284b40841e70fc320268975ba8/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2F04Apr2024.jpg)
1.6k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
by Anthony Ryan ウェブ検索市場では、Googleが長年圧倒的なシェアを占めていますが、Google検索の品質は年々悪化していることが研究で示されています。そんなGoogle検索の品質がなぜ悪化したのか、イギリスのジャーナリストであるエドワード・ジトロン氏が自身のニュースレターで解説しています。 The Man Who Killed Google Search https://www.wheresyoured.at/the-men-who-killed-google/ 2018年から2020年までグーグルの検索部門の責任者を務めていたベン・ゴームズ氏はGoogle黎明期からの中心メンバーで、検索エンジンの設計にも携わっています。 by OFFICIAL LEWEB PHOTOS ゴームズ氏は、検索結果の関連性を高めるために、「ページランク」と呼ばれるアルゴリズムを単一マシンで
以下の文章は、コリイ・ドクトロウの「The specific process by which Google enshittified its search」という記事を翻訳したものである。 Pluralistic どんなデジタルビジネスでも、技術的には「メタクソ化」できる。つまり、ビジネスの根本的な機能をユーザごとにリアルタイムで変更できるため、ビジネス顧客、エンドユーザ、株主の間で価値を素早く移転できるのだ。 https://pluralistic.net/2023/02/19/twiddler/ このスレッドをエッセイ形式で読んだり共有したい方は、私の監視フリー、広告フリー、トラッキングフリーのブログ、pluralistic.netをチェックしてほしい（訳注：もともとのテキストはTwitter上のスレッドに書かれている）。 https://pluralistic.net/2024/0
![Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4daf0a0787400227544a080cbf566e75f4290bdf/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoogle-enshittifier.jpg)
基本概念から理解するAzure AI Search - Azure OpenAI Serviceとの連携まで - 電通総研 テックブログ
こんにちは。XI 本部AIトランスフォーメーションセンター所属の山田です。 先日、部内の勉強会でAzure AI Searchについて紹介したので、テックブログでもその内容を紹介したいと思います。 Azure AI Searchとは？ Azure AI Searchに保存されるデータに関する用語と概念 Azure AI Searchのスケーラビリティに関する用語と概念 Azure AI Searchでサポートされる検索の仕組み 全文検索について Azure AI Searchのアナライザー ベクトル検索について ベクトルの近傍検索アルゴリズム ハイブリッド検索 検索インデックスのスキーマ設計 検索インデックスにドキュメントを追加する方法 Pushモデル Pushモデルを利用する場合のアーキテクチャの例 Pullモデル Pullモデルを利用する場合のアーキテクチャの例 インデクサーの計算リソ
AnthropicAI Tool で Retrieval-Augmented Generation を実装してみた
LangChain なんか使わなくてもシュッと作れたので記事にしておく。 RAG とは 生成AIに検索能力をもたせるやつ。 要は検索機能をこちらで提供してやって、AIにそれを読ませる。 AnthropicAI Tool OpenAI でいう Function Calling JSONSchema で関数シグネチャを与えると、それを使うDSLを生成する。実際の関数は自分で実装して、AI が生成した引数(JSONSchema に従う)を渡す。 TypeScript の Mapped Types でツールの実装部分に型をつける簡単なラッパーを書いた。 RAG の CLI を作る Google検索をするAPIを実装 Google Custom Engine API を使った 本文要約をするAPIを実装 Mozilla の実装を使った 与えられた URL を fetch して、その本文部分を抽出する
はじめに こんにちは。検索基盤部 検索技術ブロックの今井です。 検索基盤部では検索機能や検索精度を改善する中で検索クエリの意図解釈にも取り組んでいます。ZOZOTOWNで検索窓にクエリを入力して検索ボタンを押すと、クエリに応じて検索の絞り込み条件に変換するクエリ解釈機能の処理が動作します。 例えば、「ワンピース 白色」と検索した時、「ワンピース」を洋服のカテゴリー、「白色」を色のカテゴリーと解釈し、「白色のワンピース」を検索する絞り込み条件に変換します。 2024年5月現在ではスマートフォン向けWebサイト（https://zozo.jp/sp/xxx）とアプリのみ、クエリ解釈機能の処理が適用されています。クエリ解釈機能では意図解釈や検索の絞り込み条件に変換しています。 現在はシンプルな辞書ベースの手法を用いていますが、カバーしきれない課題も出てきており、改善のモチベーションが少しずつ上が
Wanna listen to this story instead? Check out this week's Better Offline podcast, "The Man That Destroyed Google Search," available on Apple Podcasts, Spotify, and anywhere else you get your podcasts. This is the story of how Google Search died, and the people responsible for killing it. The story begins on February 5th 2019, when Ben Gomes, Google’s head of search, had a problem. Jerry Dischler,
AWS 入門ブログリレー 2024 〜Knowledge bases for Amazon Bedrock編〜 | DevelopersIO
Knowledge bases for Amazon Bedrock について2024年04月22日時点の情報をさらぁっとまとめてみました。AWSサービス入門記事として是非ご活用下さい。 こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_） です。 当エントリは弊社 AWS 事業本部による『 AWS 入門ブログリレー 2024』の 29 日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアッ
ついに来た Firebaseでベクトル検索
はじめに Firebaseでベクトル検索ができるようになったとのことなので、試してみました！ そもそもベクトル検索って何ってところからGPTに質問しながらなんとかできた感じなので、解釈が間違っていたり説明が不十分な箇所もあるかと思いますが、こんなことができるんだという参考になれば幸いです。 今回やりたいこと ベクトル検索ができると聞き、真っ先に思い浮かんだのが去年開発したポケモン対戦記録アプリの類似対戦検索機能です。 「過去の対戦から今回の対戦相手のパーティと相手のパーティが似ている順にソートして取得する」です。 理由は説明すると長いので、興味のある人だけ読んでみてください。 なぜ似ている順にソートして取得したいか ポケモン対戦において最もよく遊ばれているルールの1つに相手と自分のパーティ6匹を見せ合って、実際に戦闘に繰り出す3匹を決めて3vs3で戦う6→3というルールがあります。 この時
Heroku PostgresとAWS BedrockとHugging FaceでRAGを作ってみた - Qiita
2023年11月にHeroku Postgresql 15 がpgvectorに対応しました。これによりHeroku Postgresがベクトルデータベースとして利用できるようになりました。 本記事では、最近話題のClaude2.1やText Embeddingと組み合わせ、Heroku Postgres内データを元に生成AIが回答してくれる、 Retrieval Augment Generation (RAG) を試作し、実際どんな回答を返してくれるか？検証してみました。 今回使用したもの 個人的に興味のあるものや、使いやすいものを選びましたので、特にこの組み合わせでないといけないわけではないです。 ■ ベクトルデータベース & ナレッジベース Heroku Heroku Postgres (PostgreSQL) pgvector ※今回の主役！ ■ 大規模言語モデル AWS Bedr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
かくしてGoogleはスパマーに敗北した | p2ptk[.]org
なぜGoogleは“あなたの不満”を無視できるのか | p2ptk[.]org
「スマホOS」寡占するアップル／グーグルを規制する法案、自民党でとりまとめ終わる 今国会成立へ
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
Google検索の品質悪化はリーダーが変わったことの影響だという指摘
Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org
ZOZOTOWNのクエリ解釈機能の改善に向けたAPIリプレイスの取り組み - ZOZO TECH BLOG
The Man Who Killed Google Search