これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？ たとえば Amazon
【速報】総務省がヤフーに行政指導 756万ID分の位置情報データなどを利用者に事前に十分周知せず韓国のネット企業「NAVER社」に提供 | TBS NEWS DIG
総務省はヤフーが事前に利用者に周知せずに、位置情報などのデータおよそ756万ID分の位置情報データなどを他の会社に提供していたとして、行政指導を行いました。ヤフーは検索エンジン技術の開発や検証のために今年…
どうも、週5で料理をしている者です。 近ごろ各所でクックパッドが話題になってますね。IT業界にいたら、大体どんなことで注目されているかもわかります。 タイトルで全部言ってしまってますが、我が家ではクックパッドが必要不可欠です。 目から鱗が出る特別な使い方を紹介して、みなさんをビックリさせることはできませんが、こんなタイミングだからこそ、感謝の気持ちも含め、どんなふうに使っているかなど、クックパッドについて書いておきたいと思います。 前提 クックパッドのアプリ利用（プレミアム）を前提としています。 とにかくレシピの数が多い／検索エンジンが優秀／アプリの使い勝手が良い、という当たり前のところには触れていません。 クックパッドのココが好き！ 我が家の食事は90%わたしが担っており、晩ごはんでは、メイン、副菜二種、汁物、の合計4品を用意してます。一食に15種目摂取を目指し「まごわやさしい」*1も、
何者かが自分に不都合な記事やサイトを検索結果から消すべく、デジタルミレニアム著作権法(DMCA)を悪用した大規模な検閲キャンペーンを行っていると、海外メディアのTax Policy Associatesが報告しました。 The epidemic of fraudulent DMCA takedowns https://taxpolicy.org.uk/2024/02/17/the-invisible-campaign-to-censor-the-internet/ 大量のDMCA申請を使った一連の検閲キャンペーンが発覚した発端は、Tax Policy AssociatesがSNSで活動する詐欺的な広告会社「Mogul Press」についての記事を2023年11月に公開したことでした。 Tax Policy Associatesはその後、何者かがこの記事に関するDMCA申請をGoogleに送
AWS Docs GPT
AI-powered Search and Chat for AWS Documentation
「Google Mapからビッグモーターが消えた」とネット騒然！地図上から全店舗が忽然と姿消す異常事態 - Smart FLASH/スマフラ[光文社週刊誌]
「Google Mapからビッグモーターが消えた」とネット騒然！地図上から全店舗が忽然と姿消す異常事態 社会・政治 投稿日：2023.07.31 20:50FLASH編集部 保険金の水増し請求問題で揺れるビッグモーター。7月25日に前社長が会見を開き、副社長である息子とともに辞任する旨を発表した。社員へのパワハラや契約捏造などさまざまな疑惑が噴出し、窮地に陥っている同社だが、特に疑念を抱かれているのが「街路樹問題」だ。 「ビッグモーターの一部店舗前で、公道の街路樹が枯れたり、伐採されていることが判明したんです。当初、ビッグモーターは過去の除草剤使用を認めつつ、組織的関与は否定していましたが、28日、除草剤等による影響で枯れた可能性が高いとして、ホームページ上で謝罪しました。 【関連記事：有名人の豪邸を勝手に見に行く（1）ソフトバンク孫正義邸】 また、同日、斉藤鉄夫国交大臣が、国道で除草剤の
![「Google Mapからビッグモーターが消えた」とネット騒然！地図上から全店舗が忽然と姿消す異常事態 - Smart FLASH/スマフラ[光文社週刊誌]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7ab59a45456351d875a115eae7412e8ffc68b77b/height=288;version=1;width=512/https%3A%2F%2Fdata.smart-flash.jp%2Fwp-content%2Fuploads%2F2023%2F07%2F31202810%2Fbigmotor_1_thumb_Y_aflo.jpg)
国立大学法人東海国立大学機構 名古屋大学大学院法学研究科の佐野 智也 講師、増田 知子 特任教授、同大学院情報学研究科の外山 勝彦 教授、同大学数理・データ科学教育研究センターの駒水 孝裕 准教授らの研究グループは、明治 19年から平成 29年（1886～2017）までに公布された法律と勅令を全文検索できるデータベースを作成・公開しました。このデータベースは、日本政府の、現在有効な法令データを提供する「e-Gov法令検索」では検索できない過去の法令データを提供するものであり、「e-Gov法令検索」を補完する意味を持ちます。 これまで多くの法学研究において法令や判例情報の調査収集にデータベースを利用する際は、個別の事件処理等を意識した限定的利用が主でした。それを越えて、大規模データを使って政策や法令を俯瞰し、経時的に解析しようという研究は、国内的にも国際的にもほとんど例がありません。 今回の
リンク Wikipedia 青空文庫 青空文庫（あおぞらぶんこ）は、著作権が消滅した作品や著者が許諾した作品のテキストを公開しているインターネット上の電子図書館である。富田倫生、野口英司、八巻美恵、らんむろ・さてぃの4人が呼びかけ人となって発足した。日本で著作権切れ作品をオンライン公開する動きの先駆者。2017年の年間アクセス数の合計は920万件以上。 収録作品はボランティアの手によりJIS X 0208漢字の範囲で青空文庫形式テキストファイルやHTMLとして電子化されている。また、「青空文庫収録ファイルの取り扱い規準」に従い自由に利用出来る 22 users 54
誤情報の正否確認をネット検索すると、かえって誤情報を信じる傾向が強まる調査結果。米大学ソーシャルメディア研究者らが論文発表 | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 ニューヨーク大学ソーシャルメディア政治センターの研究チームは、報じられたばかりでファクトチェックされていないニュース情報を、人々がどのように検証するのか調査した結果を報告しました。 この調査は、新型コロナワクチンやドナルド・トランプ大統領の弾劾、そして気候変動といった話題が大きく騒がれた2019年後半から、全米3000人の協力を得て行われました。 参加者にはこのようなニュースを、報じられてから48時間以内に提示し、その正確性を評価してもらうようにしたとのこと。ニュースは信頼できる情報源の記事から、誤解を招くような紛らわしい(または誤った)見出しの記事までが織り交ぜられており、すべての記事にあらかじめプロのファ
Googleが「人間のためではなくGoogle検索で上位に並ぶために作られた低品質なページ」の検索ランキングを下げる変更を発表
Google検索で何か調べ物をした時、上位に表示される検索結果が明らかにSEOに特化した低品質なページで埋め尽くされており、うんざりした経験がある人は多いはず。2024年3月にGoogleが、検索ランキングシステムのアルゴリズムを強化すると共に、スパムに関するポリシーを更新して「人間ではなくGoogle検索のために作られた低品質なページ」が上位に表示されないようにすると発表しました。 Google Search: New updates to address spam and low-quality results https://blog.google/products/search/google-search-update-march-2024/ What web creators should know about our March 2024 core update and new
アトラシアン、新AIサービス「Atlassian Rovo」発表。GoogleドライブやGitHub、Slack、Teamsなど同社内外のサービスを横断してAIが学習、ユーザーを支援
アトラシアン、新AIサービス「Atlassian Rovo」発表。GoogleドライブやGitHub、Slack、Teamsなど同社内外のサービスを横断してAIが学習、ユーザーを支援 アトラシアンは、同社製品およびGoogleドライブやGitHubなどサードパーティのサービスを横断してAIが情報を学習し、統合的な検索やチャットによる回答を実現することでユーザーを支援してくれる新しいAIサービス「Atlassian Rovo」を発表しました。 AI breaks down yet another barrier! Today at Team '24 we announced Atlassian Rovo – a new product that unleashes a company’s knowledge so teams can make better decisions faster.
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。次に、ReActについてと、ReActにおけるプロンプトの流れについて話します。前回はこちらから。 外部情報を取得して文脈として与える考え方「Grounding」 蒲生弘郷氏（以下、蒲生）：時間的にはあと5分しかないんですが、すみません、延びるのを前提でやらせてもらいます。 外部情報を取得して文脈として与える考え方に「Grounding」というものがあります。いきなり出てきて何なのかという話になってくるんですが、いわゆるBing Chatに近いものです。 Bingは基本的
Bingで”アマゾン”と検索すると検索結果の一番上に本物と同じURLの詐欺サイトが出現、｢クリック不可避｣｢URLだけで判断できない」と話題に
Naomi Suzuki @NaomiSuzuki_ 03/27 Bingの検索結果に、サポート詐欺に誘導する偽アマゾンの広告出現(図1-2)。中継サイト（hxxps://hotcarsinjp.shop/bing/）経由でWindowsをサポート詐欺サイトに(図3)、他は公式サイトに(図4)転送。騙されないようお気を付けください。 pic.twitter.com/TYTRxFPb6K 2024-03-27 13:32:07
似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~
はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容が 10 %、音楽が 2 %、俳優が30%含まれていた時、シンプルにそれを表すと [0.1, 0.02, 0.3]というベクトルを作ることができる。Googleの説明が詳しい。 Sentence Transformers ... ベクトル検索に必要なベクトル化を行うためのライブラリ Faiss ... ベクトル同士の類似度を高速に検索してくれるライブラリ。以下のHakkyさんのページが詳しい。 コード 入力：検索したい文字のリスト、検索される文字のリスト 出力：どの
【データ基盤チーム ブログリレー 3日目】 こんにちは、エンジニアリンググループの石塚です。 趣味は筋トレです。好きなトレーニングはレッグカールです。今年2023年の1月に第一子が爆誕し、毎日子供の笑顔に癒されております。一方であまり言い訳にはしたくはないですが、事実自分自身の自由に使える時間は少なくなったなと感じております。そんな中でもトレーニングの時間は作りたいので、24時間ジムに契約して妻と娘が寝ている早朝の時間にウホウホトレーニングをしている今日この頃であります。時間のありがたみをとても感じるようになりました。 これは仕事でも同様かと思います。有限な時間の中でタスクを取捨選択して価値ある成果を上げていく事が仕事では求められます。ドキュメンテーションはその価値ある成果につながる時間を増やす一助になるかもしれません。 この記事では、ドキュメンテーションの必要性について言語化します。改め
誰も教えてくれないハローワーク求人の探し方
ハロワ求人はゴミばっかと言うのがネット上の定説であるが、実態として、 無料だからハロワはダメ！とか言うがIndeedも無料である。ハロワの求人票は嘘ばっかと言うが民営は民営で盛りがちであるし、同じ求人だと大抵民営の方が写真は多いが条件の記載は雑である。転職エージェントの方がいいと言ってるのはだいたい転職エージェントかアフィサイトかプロ驚き屋である。ハイクラス求人が無いというがそもそも大多数にハイクラス求人は関係ない。広告宣伝費をかけられる会社はハロワに出さないのは事実だが、広告宣伝費をかけないと売れない求人である可能性も同時に存在する。 というのが実際のところであろうし、また以上のような言説では真面目にハローワークインターネットサービスの仕様を検証しているところなど無く、Xランドでは少し触って極端にクソな求人をピックアップしてやっぱりクソ！とか言ってる程度である。 当然ながら仕様を理解して
Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics
こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用（原文の表記はon your data）は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用（以降、on your dataと表記します）により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d
ずっとgit logの内容を検索するときに-Sオプションを使っていたが、実は近いオプションに-Gオプションもあり、探したい内容によっては使い分けないとダメということを初めて知った... 詳しくはhttps://git-scm.com/docs/git-logの-Sと-Gのドキュメントを見てほしい。簡単にまとめると -Sは指定した文字列の出現回数が変わるdiffがあるcommitを検索する -Gは指定した正規表現がマッチする文字列がdiffにあるcommitを検索する ドキュメントの事例部分が結構わかりやすくて、以下のようなdiffがあった場合 + return frotz(nitfol, two->ptr, 1, 0); ... - hit = frotz(nitfol, mf2.ptr, 1, 0); -S frotzで検索をかけると、frontsの出現回数は変わってないのでマッチしない
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
以下の文章は、コリイ・ドクトロウの「The specific process by which Google enshittified its search」という記事を翻訳したものである。 Pluralistic どんなデジタルビジネスでも、技術的には「メタクソ化」できる。つまり、ビジネスの根本的な機能をユーザごとにリアルタイムで変更できるため、ビジネス顧客、エンドユーザ、株主の間で価値を素早く移転できるのだ。 https://pluralistic.net/2023/02/19/twiddler/ このスレッドをエッセイ形式で読んだり共有したい方は、私の監視フリー、広告フリー、トラッキングフリーのブログ、pluralistic.netをチェックしてほしい（訳注：もともとのテキストはTwitter上のスレッドに書かれている）。 https://pluralistic.net/2024/0
![Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4daf0a0787400227544a080cbf566e75f4290bdf/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoogle-enshittifier.jpg)
増田内検索が改善されてる
キーワードを検索すると一瞬でまともな検索結果が表示されるようになってる。 なんかクソみたいなエイプリルフールネタが来てるが。
元増田のkiku-chanです。 検索トップの弁護士事務所に電話したら着手金200万と言われました。 着手金に見合う金額が返還されるか不安で、そこは保留にしています。 弁護士会経由で弁護士を紹介してもらう方法を教えて頂いたのでそちらに相談してみます。 基本的には、振り込め詐欺救済法に基づく手続きは自分で振込先銀行に対して出来ます。 弁護士は、口座の差し押さえは出来るそうですが、振込先の口座が企業の口座である為 下手に差し押さえをすると逆に損害賠償請求を受ける可能性もあると断って来た弁護士事務所もあります。 また、検索上位の弁護士事務所はGoogleマップに情報が無い(レビューごと消した？)とか 評価の低い書き込みが見つかったりと安心できないです。 また、「Fulton FXは詐欺？」みたいなまとめサイトから誘導されるのがそのような弁護士事務所だったりします。 まとめサイトが掲載され始めたの
Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
by Anthony Ryan ウェブ検索市場では、Googleが長年圧倒的なシェアを占めていますが、Google検索の品質は年々悪化していることが研究で示されています。そんなGoogle検索の品質がなぜ悪化したのか、イギリスのジャーナリストであるエドワード・ジトロン氏が自身のニュースレターで解説しています。 The Man Who Killed Google Search https://www.wheresyoured.at/the-men-who-killed-google/ 2018年から2020年までグーグルの検索部門の責任者を務めていたベン・ゴームズ氏はGoogle黎明期からの中心メンバーで、検索エンジンの設計にも携わっています。 by OFFICIAL LEWEB PHOTOS ゴームズ氏は、検索結果の関連性を高めるために、「ページランク」と呼ばれるアルゴリズムを単一マシンで
■『推しの子』 この前アニメ『推しの子』を見ていたら、作中人物の黒川あかねが、前世代アイドルの人柄について調べるため、国会図書館（NDL）にしか見えない図書館で文献調査をし、プロファイリングをするといった場面【図7-1】が出てきた。私は、まさにこの場所（旧・目録ホール）で案内役をやっていたので、この子はちゃんと「ウェブ大宅」（後述）を案内されたかしら、とちょっと心配になってしまった。 【図7-1】NDL端末を使うの図（アニメ『推しの子』第7話17分頃） 「そういえば拙著『調べる技術』で索引項目に「アイドル研究」があったな」と思い出し、手元の本を引いてみたら、意に反して第4講「ネット上で確からしい人物情報を拾うワザ」でなく、第7講「その調べ物に最適の雑誌記事索引を選ぶには」が出てきた。もちろん、黒川あかねは雑誌記事索引のうち「Web OYA Bunko」（以下、Web大宅）を検索したに違いな
いまこそリンク集(2024.1.27)
デイリーポータルZをはげます会では会員限定コンテンツとしてリンク集を公開しています。 リンク集？ そう、2024年のいまこそリンク集です。 コンテンツは増えているのに、そのナビゲーションである検索もSNSも心もとない。そこで必要なのはリンク集なのではないか。 選者のパーソナリティやバイアスをはっきりさせた上でのリンク集です。それができるのはおれたちしかいない。 なーんて思ってぽつぽつと更新しています。 全部、そして随時更新のリンクを読みたい人ははげます会に入ってね。
mytweetsという自分の Twitter/Bluesky の自己ポストの全部検索サービスをNext.js App Router(RSC)で書きなおしました。 mytweets は Twitter のアーカイブや Bluesky の API を使って自分のポストを S3 に保存しておき、 S3 Selectを使って全文検索ができる自分専用の Twilog のようなサービスです。 自分の Tweets をインクリメンタル検索できるサービス作成キット と Tweets をまとめて削除するツールを書いた | Web Scratch 過去の Tweets を全文検索できる mytweets を Bluesky に対応した。自分用 Twilog みたいなもの | Web Scratch 最初は CloudFront + Lambda@Edge + Next.js Pages Router で動かし
セキュリティチームの ぐっちー です。今回のブログでは Azure OpenAI Service と Azure Web App Service を使って企業専用ChatGPTを爆速で構築する方法が登場したのでご紹介します。技術的な難易度で見ると、めちゃくちゃ簡単で、記事にするか迷いましたが、ここまで簡単になった感動を伝えるために書きました笑 前提条件 今回の手順にはパブリックプレビュー中の機能が含まれます。 以下の状態を前提としています。 Azure OpenAI Serviceはセットアップ（MS社への利用申請・リソースのデプロイ）済みであること。 Azure OpenAI Service、Azure Web Appsを操作する権限が割当たっている事。 本ブログの内容は、2023年6月20日時点までの情報を元に作成しておりますが、クラウドサービスの仕様変更等に伴い、将来的に状況が変化す
概要 背景・目的 実験 実験の概要 定量評価 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 類似商品検索の基盤となる複数の特徴抽出アルゴリズムについて、DROBEの保有するデータで評価した 定量評価によると、画像単体を入力とする ResNet-50（自己教師あり学習）とCLIPの性能が高かった 定性評価によって、取り扱うモーダルの違いによる各モデル出力の顕著な差異が確認できた 背景・目的 小売において、商品の在庫は無数に存在しています。そのため、消費者やサービス提供者が商品に紐づく情報（画像、商品の説明文など）を解釈して、特定の商品と類似したアイテムを人手で行うのは困難です。 この課題を解決するために、機械学習手法の活用が注目されています。 機械学習を用いた処理の流れは、 商品に紐づく情報を適切に 「要約」 し、 1.で 「要約」 した商品情
「良いタイトル」について解説いただきましたはてなブログでは「記事に表示される記事タイトル（大見出し）」「検索エンジン向けタイトル（title要素）」「SNS向けタイトル（og:title）」について、それぞれ設定できます。さらに本日、AIを用いて自動でそれぞれのタイトルを提案する機能「AIタイトルアシスト」をクローズドβとしてリリースしました 。 ただ、この機能でAIが提示したタイトルの候補からどれを選ぶべきか、また、提案内容からどのように編集するか、迷ってしまうかもしれません。また、AIに頼らず自分でタイトルを考えたいという方もいらっしゃるでしょう。 今回、はてなブログのSEOをサポートしていただいているSEO専門家の辻正浩さんに「タイトルの重要性」と「ブログのタイトル付けのコツ」について寄稿いただきました。「記事が読まれるのはうれしいけど、タイトルをいちいち考えるのは面倒」という方や、
三大画像検索でほっこりするやつ
「柴犬 帰りたくない」 「力士 注射」 あと一つ
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり
イーロン・マスク、グーグルのAIを「非常識で人種差別的」と非難 検索も攻撃 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
米企業家イーロン・マスクは22日、グーグルの対話型人工知能（AI）「Gemini（ジェミニ）」について、偏向した「人種差別主義者」だと非難した。翌23日にはグーグル検索にも攻撃の矛先を向け、同社が2024年米大統領選挙を不正に操作しようとしているとの陰謀論をあおる投稿を行った。 グーグルに対しては、GeminiのAI画像生成機能をめぐり、多様性を意識しすぎているとして激しい反発が起きている。歴史上の人物として生成された画像が、歴史的に不正確な人種や性別で描かれることが発覚し、誤解を招くと批判が殺到。同社は人物画像の生成機能を一時停止すると発表した。 マスクはこうした動きを受け、「問題はGeminiだけでなく、グーグル検索にもある」とX（旧ツイッター）に投稿。グーグルはAI画像生成に関して「勇み足を踏んだ」との見方を示した。 グーグルは不正確な画像生成について、偏向問題に取り組み、表現を改善
Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する はじめに こんにちは！ 第一SAチームのshikaです。 普段、あるAmazon RDS上のデータベース（MySQL）に対し、SQLを実行してデータを参照しています。 毎回SQLクエリを実行するのが手間だったので、データ検索を容易にするWebアプリケーションを開発しました。 このアプリケーションには、AWSの生成AIサービス「Amazon Bedrock」を活用しており、生成AIを用いた対話式の検索機能を実現しています。 できあがったアプリケーションの画面は以下です。 データはテストデータを使ってます。以下の通り、架空の会社の従業員情報に関するデータです。 本記事ではこのアプリケーションの構成、仕組みについて、特にAmazon Bedrockの部分を重点を置いて解
検索が危ない！？悪用されるネット広告 対策は | NHK
何か知りたいとき。まっ先に行うインターネットの検索。 キーワードを入力すると一覧が表示されますが… その上位に表示されたページに、悪質な詐欺サイトが紛れ込んでいることがあるんです。 いま、検索からだまされる人が増えています。 （デジタルでだまされない取材班 佐々木萌） “検索の上位”だから、安心しきっていた… 高知県に住む30代の男性。去年12月、ずっと欲しかった商品をインターネットの検索サイトで“発見”しました。 家庭用ゲーム機「プレイステーション5」です。 人気のあまり、当初は多くの店舗で抽選販売が行われていたこのゲーム機。男性は何度も応募しましたが、なかなか当たりませんでした。周りの友人も手に入れ始め、焦りも募っていたという男性。だめもとで検索してみました。 「PS5 在庫あり」と入力すると、一番上に広告として表示された販売サイトに、あれほど手に入らなかったゲーム機が「在庫わずか」と
Googleがついに検索結果ページでのキャッシュ提供を終了
Googleが、検索結果のページからサイトのキャッシュを提供するリンクを削除していたことがわかりました。記事作成時点では検索演算子である「cache:」を使うことでキャッシュを閲覧できますが、この機能も遠からず停止する予定であるとGoogleは発表しています。 Google will no longer back up the Internet: Cached webpages are dead | Ars Technica https://arstechnica.com/gadgets/2024/02/google-search-kills-off-cached-webpages/ Google Search Drops Cache Link From Search Results https://www.seroundtable.com/google-search-drops-cach
ø.müller @ooomuller 311の時に本当に助けられたTwitter検索はもうないんだよ。今大地震が起きて帰宅困難で情報探しに来てもインドネシアの知らんおじさんとモザイクAI女子が大挙してお迎えに来るよ 2023-10-09 17:38:42
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLiteでLinderaを使った日本語全文検索 - *iroi*
我が家にはクックパッドが必要不可欠なので、その理由と感謝の意を書いておく - Yunicode
著作権侵害申請の悪用で不都合な記事をインターネットから葬り去ろうとする不正の実例
過去の法令を全文検索できるデータベースを公開 ～法制度の移り変わりを調査する出発点に～
「青空文庫」の全文検索できるサイトは文明の発展に貢献できるレベル。創作活動や研究をしている人たちにもっと知られてほしい
GPTが単純に回答するだけでなく、動的に振る舞えるようになる Groundingを使ったプロンプティング「ReAct」の流れ
エンジニアリングの時間を生み出すドキュメンテーション術 - エムスリーテックブログ
git logの内容を検索する-Sと-Gの違い - $shibayu36->blog;
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org
元増田のkiku-chanです。 検索トップの弁護士事務所に電話したら着手金200万と..
「EverythingToolbar」＋「Quick Look」で爆速ファイル検索→プレビュー環境を構築可能に／ファイルを検索し、結果から選び、スペースキーを叩くだけ
Bardのようなimage2textAIを構築して動画検索システムを作る
RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
Google検索の品質悪化はリーダーが変わったことの影響だという指摘
第7回 推し活！――アイドルを調べる | 皓星社（こうせいしゃ） 図書出版とデータベース
Twitter/Blueskyの自己ポストの全文検索サービスをNext.js App Router(RSC)で書きなおした方法/設計/感想
企業専用 ChatGPT を Azure OpenAI & Web App で爆速構築する
ファッションにおける類似商品検索アルゴリズムの性能評価 - DROBEプロダクト開発ブログ
AIの力を借りて魅力的なブログタイトルを作ろう！ #SNS #ブログ - 週刊はてなブログ
【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
ノーコードでChatGPTをもっと強力に！ 楽々簡単な「GPTs」を作成して情報通になれた話／「Google カスタム検索」よりもっと絞り込める記事検索ツールを作ってみた【やじうまの杜】
311のときに助けられたTwitter検索はもういないんだ…今大地震が起きても知らんおじさんとAI女子しか出てこん