pLSIを試してみた - のんびり読書日記
これまでにK-means++とfuzzy c-meansを使用したクラスタリングを試してきましたが、今回はpLSI(probabilistic latent semantic indexing, 潜在的意味インデキシング)によるクラスタリングを試してみようと思います。 pLSIは確率・統計的な枠組みで次元縮約を行う枠組みで、なかなか精度がよいらしく色々な論文で見かけます。Google NewsのレコメンドでもpLSIを使用しており、MapReduceで処理を並列化させて高速に実行しているそうです(論文読んでないので間違っているかも)。また入力ベクトルをあらかじめ重み付けしておく必要がなく、文書であれば単語の頻度をそのまま入力として使用できるのもうれしいところです。 より詳しくは以下のWikipediaのエントリか、書籍をご参照下さい。(書籍は処理結果の表8.4が並びがグチャグチャになってる
Search User Interfaces
Book Contents This book presents the state of the art of search interface design, based on both academic research and deployment in commercial systems. "This will be seen as a transformational book -- one that synthesized a new, coherent discipline of human information interaction out of literature and experience scattered across many fields." - Dr. Stuart Card "[H]igh praise ... Apart from being
3行でできる超お手軽全文検索 - mixi engineer blog
梅雨。部屋干しした洗濯物による異臭騒ぎに苦しむmikioです。今回は、Tokyo Cabinetのテーブルデータベースで超お手軽に全文検索をする方法について説明します。 使い方 テーブルデータベースについてまずおさらいしておきましょう。PerlやRubyのハッシュのようにコラム名とその値を関連づけた構造を、主キーを識別子として保存するデータベースです。例えばRubyからデータを保存するに以下のように行います。データベースであることをほとんど意識させないというのが素敵ポイントです。APIはCでもPerlでもRubyでもほとんど同じなので、言語にかかわらず同じようにレコードを操作できます。 require 'tokyocabinet' include TokyoCabinet # データベースを開く tdb = TDB::new tdb.open("casket", TDB::OWRITER
ブログ検索/解析 皆声.jp: ネット上の皆の声をリアルタイムに把握
6位以降 -ブロガーの間で話題のブログ記事ランキング/リアルタイム集計 日付: 2024/03/10(今日) / 2024/03/09 ... まとめ: 1週間 / 1ヶ月 / 1年
Ngram(N-gram)とは何か & 形態素解析との比較
全て 1.このサイトについて 2.作品DB開発/運用 3.ホームページ制作技術 4.Perl 5.C言語 / C++ 6.検索エンジン&SEO 7.サッカー 8.自分のこと 9.Linux 10.旅行 11.思ったこと 12.パソコン 13.Berkeley DB 14.その他技術系 15.企画 16.スマートフォン 17.鑑賞 18.皆声.jpニュース 19.インターネット業界 20.運用マニュアル(自分用) 21.技術系以外実用書 22.料理 23.ALEXA 24.アニメ 25.会計 26.漫画 27.設計書 28.色々サイト作成 29.サーバー 30.自分専用 31.生活 32.OP/ED/PV 33.ゲーム 34.DB整備 35.新規開始作品紹介 36.英語圏の話題 37.大道芸 38.映画 39.PHP 40.ダイエット 41.Mac 42.JavaScript 43.MySQ
Hadoop + Luceneで分散インデクシング - moratorium
Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i
第1回 Kaiとは？ ─Kaiのコンセプトとメカニズム | gihyo.jp
今回から数回にわたり、Kaiという分散Key/Valueストアについて解説させていただきます。 まず、第1回では井上がKaiのコンセプトをご紹介します。次回以降は、Kai開発者の一人である幾田さんがKaiの利用方法について解説します。最終回では、gooホームでKaiを運用している橋本さんから、Kaiの運用方法について紹介していただく予定です。なお、本連載が対象とするKaiのバージョンは0.4です。 Kaiとは Kaiとは、分散型のKey/Valueストアです。Amazon.comが2007年に発表したDynamoというシステムに触発されて、そのオープンソース版として開発されています。Kaiをバックエンドに据えてWebサイトを構築することで、高いスケーラビリティやアベイラビリティを実現できます。2009年5月には、gooホームのバックエンドに導入され、運用実績も高まってきました。 Kaiは多
最新情報を知りたい人が抑えておくべきたった一つのサイト - 304 Not Modified
またTwitterの話から始めますが、これはTwitterを使っていない人に読んで欲しい記事ですので、できたら最後まで読んでいただきたい。 今日、気象庁から地震の誤報が流れた。詳しいことは「Twitterにみるニュースの流れ方」を読んでもらえば分かるだろう。私が知ったのは気象庁の地震情報のサイトだった。今はもう消えてしまったが、そのサイトが５ブクマされたあたりで注目エントリで発見し、「マジで？九州で震度６って大丈夫かよ？」と思って最初に開いたサイトが buzztter（ばずったー）だった。 はっきりいって速報性という点でTwitterに敵うサービスはない。その価値はGoogleさえも凌駕するだろうという私の考えは「GoogleのTwitter買収話を聞いて思ったこと」で書いたとおり。しかし、Twitterをパッと見ただけでは直近20人の発言しか見ることができず、何が流行っているかなんて全く
Wolfram|Alpha: Making the world’s knowledge computable
Compute expert-level answers using Wolfram’s breakthrough algorithms, knowledgebase and AI technology Mathematics ›Step-by-Step SolutionsElementary MathAlgebraPlotting & GraphicsCalculus & AnalysisGeometryDifferential EquationsStatisticsMore Topics »Science & Technology ›Units & MeasuresPhysicsChemistryEngineeringComputational SciencesEarth SciencesMaterialsTransportationMore Topics »Society & Cul
TechCrunch
When I reviewed the Espresso Display last year, I concluded that it would be a great addition to a mobile office setup for workers who needed additional screen real estate without taking up too much s Braid, a four-year-old startup that aimed to make shared wallets more mainstream among consumers, has shut down. Founded in January 2019 by Amanda Peyton and Todd Berman (who left in 2020), San Franc
検索系は企業と大学の連携が割とうまくいっている - 武蔵野日記
昨日今日と情報爆発のキックオフシンポジウムがあり、たとえば各分野のトップ会議のサーベイ報告がずっとあったりしたそうで、内容が Twitter で更新されたりするのを見ると、行ってみたかったなと思ったりもしたのだが、それはそれとして、豊田さんがWWW2009のサーベイ@情報爆発キックオフというエントリで資料を公開されるとともに、感想を書いてらっしゃる。 全体的に、Yahoo!, MSの論文が多く、ちょっとおもしろ目のアイデアを、検索エンジン会社の実データで実験してしっかり評価するという論文が多く通っている印象です。大学の教員が企業を兼務していたり、インターンの学生が検索エンジン会社に行って仕事したのをまとめていたりと、企業と大学の連携がうまくいっているということでしょうね。 これに関しては完全に同意で、この分野(ウェブ系)は例外的に企業と大学の連携が割とうまくいっているのだと思う。自分も M
Yahoo!ニュース高速化へのサイトデザイン側からのアプローチ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo!ニュースのデザイナーの黒田・由衛です。 Yahoo!ニュースが2009年4月27日にリニューアルしました。今回のリニューアルでは、お客様に快適にサイトを利用していただけるよう最速でページを表示させることに重点をおきました。 お客様がウェブを閲覧するのは1日の中のほんの限られた時間です。その貴重な時間を割いてYahoo!ニュースに来ていただくわけですから、1ページでも多くの記事を「読みやすく」「ストレスなく」見ていただけるようにするのが、Yahoo!ニュースがお客様にできる最高のおもてなしだと考えています。そこで、今回のリニューアルでは、サイトデザイン側からのアプローチとして以下の2点の施策を行いました。 １
search-pdf-books.com - search pdf books リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Release History Of SQLite
Release History This page provides a high-level summary of changes to SQLite. For more detail, see the Fossil checkin logs at https://www.sqlite.org/src/timeline and https://www.sqlite.org/src/timeline?t=release. See the chronology a succinct listing of releases. 2024-01-30 (3.45.1) Restore the JSON BLOB input bug, and promise to support the anomaly in subsequent releases, for backward compatibili
Yahoo!’s Outstanding List of Papers at WWW2009 | Yahoo! Research
The 18th International World Wide Web Conference (WWW2009) will be held April 20 to 24 in Madrid, Spain. Yahoo! will repeat its stellar technical presence, earning the honor of 14 out of 105 total accepted papers this year – the most from any single organization. The World Wide Web Conference is the global event that brings together key researchers, innovators, decision-makers, technologists, bus
2009-04-21
色を使った検索 結構まっとうな答えが出せるようになってきました。 Googleで適当に検索した情報を拾って、Wikipediaのデータを使って重要なトピックを抽出し、それらの成分を基に色で表現しています。動的にやってます。 これは大統領から流れ着いた例ですが、検索キーワードが「ナンシーレーガン」で、抽出されたトピックは、”ナンシーレーガン”（オレンジっぽい成分）、”ロナルドレーガン”（緑っぽい成分）、”ファーストレディ”（青っぽい成分）です。 グレーなのはどれも成分が弱くて、判別できていないものです。 だからなんだ！という気もする。 ただ、数学的に意味の通じる”違い”を創り出し、それを一目で分かるようにすることには成功したわけだ！ ウィキペディアを知識にして解釈（トピックの判断）を行うということは、ウィキペディア氏と会話するようなものだ。 そう考えたとき、もしウィキペディア氏のような人がた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
Search Engines 2章 Architecture of a Search Engine - シリコンの谷のゾンビ
A Fast Regular Expression Indexing Engine
Google Similar Images