RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
Rui Ueyama on Twitter: "しばらく考えてみたけど、やっぱりGoogleはここ20年間くらいで最大のチャレンジを迎えているような気がする。"
しばらく考えてみたけど、やっぱりGoogleはここ20年間くらいで最大のチャレンジを迎えているような気がする。
Googleを超える検索エンジンを作ったので使ってみてほしい
表題の通り、検索エンジン（Webアプリ）を作ったので、使ってみて感想を聞かせてほしい、というのが投稿の目的だ。 ただ、せっかく増田に投稿するのだから、制作物の宣伝に終始するのではなく、開発していて考えたことや制作背景を書き添えたいと思う。ここにはエンジニアやデザイナー、また技術職でなくてもWebサービスに携わる人、インターネットを使って遊ぶことが好きな人が多いはず。そんな人たちの向けの四方山話として、思考の一助となれば幸いだ。 検索エンジンについてSalonaというGoogleを超える検索エンジンを作った。 https://salona.org 特定の検索クエリについて、マークダウンの検索結果を添付し、投稿することができる。投稿には、検索クエリと完全一致するタイトル、本文、'# ' + タイトル + '\n' + 本文のSHA-256（＝文書のID）、256ビットのノンスが付随する。投稿に
DMCAが悪評隠しに悪用されたと思われる事例 by @tsuj #ハイビット
DMCA、デジタルミレニアム著作権法と検索エンジンの関係は様々な問題を抱えています。 前に正式な権利を持っている会社のコンテンツが消されるケースをご紹介しましたが、今回は別の事例です。 提出、受理されたDMCA申請を定期的に見ていますが、違和感がある申請が時々あります。 それを詳しく見ていくと「検索結果に存在する悪評を消すために虚偽のDMCA申請がまかり通っている」事に気づきました。 フリー素材サイトの画像で削除された事例 フリー画像サイトの写真を使ったブログ記事が著作権侵害で検索結果から削除された この記事が話題になっています。 ユーザ投稿型フリー素材サイトにアップされている画像をブログで使った所、DMCA(デジタルミレニアム著作権法)に違反しているとして、そのページが検索結果から削除されたという事です。 結論から書きます。これはフリー素材サイトの問題ではないとわたしは考えます。 今回の
マイクロソフトはどうやってBingをFPGAで実装したか - Qiita
ドワンゴがニコ動の画像配信向けにFPGAエンジニアを募集したり、マイクロソフトはBingをFPGA実装したり、Baiduもディープラーニングの高速化にFPGAを導入したりと、なんだか世の中急にハードウェアくさくなってきた。IoTとは違う意味で。 金融分野ではすでにCPUでは遅すぎてFPGAによるナノ秒単位の株取引が行われているって記事を書いたのは2年前だけど、ここ数年はIntelのCPUのクロックもあまり上がらなくなってきたし、Fusion-ioやNetezzaといった大手御用達のハイエンド鬼速ストレージも、フタを開ければ中身はすでにFPGAに移行済み。IBMが最近出したData Engine for NoSQLという製品ではPOWER8プロセッサにFPGAを直付けしてRedisを高速化したり。いよいよデータセンターにも、先の見えないCPUに代わってFPGAやGPUを導入する波が押し寄せつ
検索エンジンの著作権問題についてのFAQ：栗原潔のテクノロジー時評Ver2：オルタナティブ・ブログ
ちょっと今さら感もある話題ですが、先日やったセミナーで質問が出たりもしたので、ここで一度まとめておきたいと思います。 Q1. なぜ日本では検索エンジンが著作権侵害と言われているの？ A1. 検索エンジンでは、著作物を含む他人のウェブ・サイトをコピーしてキャッシュ（と呼んではいるが実際には永続的ストレージ）を作ったり、サムネールを作ったりしています。これは、著作権法上は複製にあたります。日本の著作権法では、権利者の許諾なく、著作物の利用（複製等）をできるケースを限定的に規定しています（引用だとか、教科書での使用だとか）。検索エンジンでの複製はこのような限定的ケースに含まれていないため、法律を厳密に解釈すると著作権侵害ということになってしまうわけです。 Q2．どういう人がこういう解釈を主張しているの？ A2． 以前から検索エンジン違法説は学識者の間で唱えられていましたが、昨年の10月に出された
中国IT小話──「何でもアリ」の庶民派 百度が中国で支持される理由 (1/3)
日本においては、今年3月には中国の検索サイト「百度」(関連サイト）が日本に参入した。百度が日本市場に参入する前には、同サイトの「Spiderプログラム」がサイトへの過剰なアクセスをして、問題となり、サービス開始以降1ヵ月強の間は、アダルト画像が見られるという理由で日本からよりも中国からのアクセスが殺到し、「中国当局が日本の百度にアクセスを禁止する」という異例とも言える処置がとられた。 百度はイメージダウンを避けられない幸先の悪いスタートを切ってしまったが、6月にはソニーの元CEO 出井伸之氏が百度の社外取締役に就任するサプライズがあった。また、サービス面でも11月には動画検索サービスを追加するなど、少しずつではあるがサービスの拡充が行なわれている。 中国人に大きな支持を得ている「百度」 日本における百度の存在は大きくはない。しかし、本拠地である中国においては、百度は「中文検索で最も有名なサ
ITmedia アンカーデスク：ケータイ検索が“使えない”理由
携帯ネットの世界に本格的に検索エンジンが入り始めてから、半年以上経ちました。PC検索の世界から見てみると、携帯検索はずいぶん事情が違う、と感じた方も少なくないのではないかと思います。 中でも特に多くの人が「なんでこんなサイトが上位にヒットするのか」ということを感じたのではないかと思います。世界最高峰の検索エンジンの技術力を持つ会社も、通信キャリアも、携帯専業ベンチャーも、誰しもが苦労するこの分野の現状を、いくつかの角度から明らかにしてみたいと思います。 携帯サイトの構造は、検索エンジンが理解しにくい 携帯サイトは、PCと同じHTMLの規格を利用しながらも、携帯電話のユーザーインタフェースに最適化された構造になっており、検索エンジンが構造を把握するのが難しい仕組みになっています。 例えば、キャリアや端末によって表示させるページを変えていたり、目的の情報にアクセスするために経由する中間ページが
切込隊長BLOG（ブログ） - SEO業界についての住太陽氏の言説が笑える
web系のMLで住太陽氏の記事が取り上げられて面白がられていたので見にいったけど、それほど間違ったことは書いてなかった。要は、通り一遍のことを「SEO業者は要らん」などの煽り文句と組み合わせて名前を売ろう的釣りだと思われるので、盛大に釣られてみる。もし、あの文章を真面目に書いているのだとすると相当寒いし。 http://www.motoharusumi.com/jobs/marketing/seo_and_search_marketing/10_steps_of_seo_and_inside_story_of_seo.html 文中にある「SEOの10のステップ」はまったく合意。というか、これができていないのにSEOをやろうとすると、思ったような効果が上がらないなどの事態に陥る。野球をするには、まず「バットの振り方」を基本どおり覚えておきましょう、という意味合いにおいては完璧に正しい。
OBB vs AABB - Radium Software Development
iPhoneの一般修理店は予約なしでも来店できる？ 基本的には飛び込みで修理に行ってもOK iPhoneを置いていたソファにうっかりと腰かけてしまい、パネルを割ってしまった、こんな時はスマホの一般修理店へ行きましょう。画面割れは、スマホやタブレットの故障原因として非常に多いものです。予約なしで突然お店に行っても平気かしらと、不安に思う方々もいらっしゃるかもしれません。結論としては特に問題はなく、予約なしで訪問しても画面割れの修理はお願いできます。 ただし他のサービス業のお店同様、予約なしの場合、お店が混雑していると順番待ちをしなければいけないです。特に繁盛しているスマホ修理のお店だと、行列が店内で出来ており、予約なしだと、自分の順番が巡ってくるまで長時間待たされる可能性があります。平日の朝、昼なら利用客が少ない場合が多く、飛び込みでも比較スムーズに修理が頼めます。 予約は入れた方が時短に、
BuzzTunes ブログ評判検索サービス
不動産の売却ならベストセレクト 累計販売棟数27588棟住まいのベストセレクトへお任せ下さい。 www.bestselect.co.jp 大手6社が、不動産を無料査定！ 有力6社集結のホームマスターズが、6社一括の無料ネット査定を実施中 www.home-masters.net ここが違う！すみなび不動産査定 『住友林業の不動産仲介』でご要望に沿う納得の売却。まずは無料査定へ www.suminavi.com 《無料査定》で不動産売却！ ≪三菱UFJ不動産販売≫は安心・確実なネットワークで売却をサポート www.sumai1.com 不動産の売却はナイスへ 東京・神奈川の不動産売却は実績豊富なナイスの仲介へ。無料査定実施中 www.house.jp 不動産査定はホームトレイン ナットクの高額査定！首都圏の私鉄不動産8社で簡単に一括査定が可能！ www.hometrain.net 不動産売却
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フィルター・バブル（その２） | IoT
|