RAG用途に使える、Wikipedia 日本語の embeddings とベクトル検索用の faiss index を作った - A Day in the Life
この記事は、情報検索・検索技術 Advent Calendar 2023の12月4日の記事である。 昨今のLLMの台頭により、外部情報を In-Context Learning として利用しLLMの生成結果の性能を高めることが可能な RAG(Retrieval Augmented Generation) の重要性の高まりを感じる。ただ、RAG を使ったシステムを構築してみようにも、データが少ないと面白みが少なかったりする。その為、Wikipedia 日本語の約550万文から簡単に検索可能でRAGの入力データとして使えるような embeddings と、素早い速度でベクトル検索できるような faiss 用の index を作成した。 例えば、Wikipedia から該当の文を検索する用途はこのように使える。 from datasets.download import DownloadMana
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
Rebuild: 33: There's No Test For goto fail (hotchpotch)
舘野祐一さんをゲストに迎えて、Podcast クライアント、モバイルアプリ開発、TestFlight, WhatsApp, iOS セキュリティなどについて話しました。 miyagawa: 今回初ゲストですけど。 hotchpotch: はい。 miyagawa: 舘野祐一さんです。 hotchpotch: どうも舘野祐一です。ネット上だと id:secondlife 、これ はてなID なんですけど。他は Twitter とか GitHub とかは hotchpotch って ID でやってます。よろしくお願いします。 miyagawa: お願いします。この hotchpotch っていうのはどういう由来っすかね。 hotchpotch: これはですね、昔、坂本真綾のアルバムでそういうのがあってそこから。で secondlife って、なんか昔はよかったんすけど、仮想空間の second
第22回 舘野祐一 氏 株式会社はてなインタビューWebエンジニア武勇伝
第22回 舘野祐一 氏 株式会社はてな 今回は、笹田耕一さんのご紹介で、株式会社はてなの舘野祐一さんにお話をお聞きしました。 舘野さんは、Rubyのコミュニティを中心に広く知られる若手エンジニアで、 開発経験の浅い時代から自作のアプリケーションを次々と公開し、注目を浴びています。取材は、「はてな」が京都に移転す前にすべりこみで行わせていただきました。 場所は、代官山のラボエムです。今回は、株式会社ウェブキャリアの木島さんにテクニカルアドバイザーとして同席いただいています。※取材日は、2008年2月です。所属や役職などは当時のまま掲載しております。 PCとの出会いは？ 川井 今回、ご紹介いただいた笹田さんとはRubyつながりですか？ 舘野 はい。笹田さんや高橋征義さんとはRuby関係で知り合って、以前から親しくさせてもらっています。増井雄一郎さんなんかもRubyつながりです。「Webエンジ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本中を楽しみ尽くす、Amazing な人生に。 | WAmazing株式会社
map.rails2u.com
