Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
ユーザーが「見る広告」「見ない広告」--ユーザーの行動を決める要素とは？
「どんなサイトのどんな広告をユーザーは見るのか」――これは、広告主もメディア運営者も非常に興味ある事項ではないでしょうか。 今回は、いくつかの大手サイトを男女計5人の被験者に自由に閲覧してもらい、ユーザーがどの広告に目を引かれていたのかをアイトラッキングマシン（被験者の視線の動きを追跡するツール）を使って検証しました。はたしてどんな結果が出るのでしょうか。 口コミに夢中で広告見ず 図1は＠cosme（アットコスメ）を見ていた被験者A（女性、20代後半）の視線です。右側に配置された広告は全く見られていません。被験者Aはトップページから迷わずユーザーの感想が書かれているページへと行き、その後ずっと口コミを丹念に見ていました。また、口コミ以外の要素には全く目を向けませんでした。 図1：＠cosmeを見ていた被験者Aの視線。水色の線は視線の動きを、丸の大きさは視線の滞留時間の長さを示す。青で囲った
楽天テクノロジーカンファレンス 2008にいってきました - d.hatena.zeg.la
1000人以上のエンジニア、全国各地に開発拠点をもっている 楽天のテクノロジーカンファレンスにいってきました。 分散並列処理フレームワークfaily,P2PオンメモリストレージROMAが 2009年にOpenSource化されるとのことでした。 楽天ウェブサービス APIの紹介 16種類のAPI 直近だと楽天ランキングAPI 1500万件,2万件の宿泊施設 Affiriateと連動可能 REST,JSON,SOAPのフォーマットをサポート 楽天ダイナミックアド 楽天版アドセンス 記事の内容にマッチした楽天の商品を出す 楽天経済圏 APIを使ったアプリが入り込める マッシュアップブームおちちている ALL 35,000ID Active 5,000ID Webサービス経由の流通金額は7.24% 3,500万request/day ItemSearch,GenreSearch,Itemcode
個人で使うドリコム式行動ターゲティング広告 - ぼくはまちちゃん！
はい！こんにちはこんにちは！ こんどは寝すぎで、ちょっぴり調子のおかしなはまちや２です！ こんにちは…！ ところでちょっと前に、こんな記事がありましたよね！ 行動ターゲティング広告はどこまで許されるのか http://it.nikkei.co.jp/internet/news/index.aspx?n=MMITbe000015102008 これの仕掛けの部分だけを簡単に説明すると… 見たことのあるページのリンク(visited)は色が変わったりする スタイルで、visitedなリンクと、そうでないものの高さとかを変えることができる 高さとかはJavaScriptで取得可能、つまり訪問済みリンクか取得可能 ページのどこかに、色々なサイトのURLを大量に隠しリンクしておく それぜんぶJavaScriptで調べて、来訪者が行ったことのあるページを把握 訪問済みサイトの傾向にあわせて広告表示 (簡
サイジニア、複雑系理論でおすすめ抽出・推奨エンジンに挑む人々(1) インターネット-最新ニュース:IT-PLUS
電通、三菱UFJ信託銀行など大手企業が相次ぎ参入を表明する「情報銀行」。ここに挑むベンチャー企業がDataSign（東京・渋谷）だ。同社の太田祐一社長は情報銀行という言葉が生まれる…続き 中部電力が「情報銀行」参入へ 電力データを活用 ［有料会員限定］ 「情報銀行」説明会に２００社 データ流通の枠組み始動
爆笑と雷鳴に包まれた「第1回SBM研究会」
昨日は大岡山の東京工業大学で開催された、「第1回SBM研究会」に参加してきました。当日テキストでライブ中継をされていた方がいらっしゃいますので、詳しい内容はそちらが参考になります： ■ SBM研究会...live blogging ソーシャルブックマーク（以下SBM）とは何か、どのような歴史があり、今後どのように発展する可能性があるのか、を考えるイベント。講師の方々に関係者・研究者が多いのは当然として、参加者の中にもSBMサービスを提供している企業の方々や、アルファブックマーカーな方々の姿があり、文字通り熱い勉強会だったと思います（会場は冷房効き過ぎで寒かったのですが）。 朝10時から夕方5時40分まで、という長丁場のイベントでしたので、以下思いついたことをランダムに書き記しておこうと思います。 【ちょっと物足りなかった】 いきなりで恐縮ですが、非常に興味深い内容が盛りだくさんだったものの
SBM研究会...live blogging
☆学びing株式会社 企画営業部 課長 メディアプランナー スtラッシュドット 横田 真俊氏 影響力がもっとも強いのはやるおなのではないか ■ＳＢＭの特徴 オンラインで完結 階層型でない 他社との共有 タギング、コメント ■ＳＢＭの歴史 ・オンラインブックマークはいつからはじまったのか？ デリシャスが最初ではない 1996年 itListが世界初のオンラインブックマークを開始 96-99年 様々なオンラインブックマーク業者が登場 2000年 日本でもスタートダッシュやＢｌｉｎｋの日本語版が登場 ドットコムバブル崩壊 ○itList ブックマークのバックアップ的な意味が強かった ○blink ○del.icio.us 1億ブックマーク なんで成功したのか？ －人気の可視化 －ブログのパーマリンク －ソーシャルタギング －人、タグのつながり －最大の理由はストレージから日々のツールになったこと
コモンズ・マーカー： Webにマークを付け、みんなで共有
Unleash Your Dog’s Happiness: The Ultimate Guide To Dog Lodging
HatenarMaps - はてな村勢力地図
Congratulations You have successfully installed the OpenLiteSpeed Web Server! You should replace this page with your own web pages. It is not recommended to copy files into the directory where this page located, they might be over-written during upgrade or reinstallation. Create a new virtual host and map a listener to it. Have no clue? Please read the Documentation. For your web administration lo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日経BP
クローリングしてる暇があるなら…論文かいたら? | EDGE Datasets(研究用データセット)
MySQLでTF-IDFの計算、あと2つのベクトルの内積の計算 (2006-12-19)