スクレイピング時に本文だけを抽出する最高精度ツールが優秀！【日本語版も公開】 - Qiita
n,pはそれぞれnegative(ノイズ),positive(本文)を基準とした時の評価を表します。 例としてノイズ部分をN,本文をPとし,正解をT(True)、間違いをF(False)とした時にPresicionはそれぞれ以下の式です。 $$ Presicion_{[n]} = \frac{TN}{TN + FN} $$ $$ Presicion_{[p]} = \frac{TP}{TP + FP} $$ nのf値はどれだけ正確にノイズを除去できているかを、pのf値はどれだけ正確に本文を抽出できているかを評価していると考えればよいでしょう。 元のデータでの再現学習も問題無く行えました。また日本語対応版もおおよそ元論文と同程度の精度が出ています。 要点2:軽量でCPUでも1ページ0.02s程度の時間で予測できる Core i7,8コアのCPU環境でも1ページ0.02s程度の時間で予測が可能
ウェブサイトやブログ記事中の本文を抽出するgem - ぴよログ
大元はこちらで、 Webページの本文抽出 (nakatani @ cybozu labs) Ruby1.9対応され、gemになったものがこちら。 mono0x/extractcontent Bundlerを使ってリポジトリ指定でインストールできます。 gem 'extractcontent', :git => 'https://github.com/mono0x/extractcontent.git'☄ 使い方 html = open(url).read body, title = ExtractContent.analyse(html) これだけでタイトルと本文を持ってきてくれます。精度も悪くなさそう。 HTMLタグを残したい 純粋に文章のみを残すという作りになっているため、抽出された本文からはHTMLタグがなくなっています。画像も無くなってしまいます。 少し話がそれますが、この本文抽出
はてなブックマーク開発ブログ
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。2024年2月のトップ50です*1。 順位 タイトル 1位 マンションリフォーム虎の巻 2位 死ぬほど嫌でした｜佐藤秀峰 3位 「面倒なことはChatGPTにやらせよう」の全プロンプトを実行した配信のリンクを整理しました｜カレーちゃん 4位 管理職必読 順番に読むと理解が深まる「マネジメントの名著」11冊 | 日経BOOKプラス 5位 メルカリで値段の「¥マーク」を小さくしたら購入率が伸びた理由、ペイディがサービス名を「カタカナ表記」にする理由など、プロダクトのマーケ施策まとめ30(2023)｜アプリマーケティング研究所 6位 7年適当に自炊してきて調味料について思ったことを書く 7位 ウクライナ軍に入隊したアジャイルコーチが、さまざまなメソッドを駆使して中隊長としてのリーダーシップを実現した話（
ヒューリスティックにキーワードを決めてググるVimperatorプラグイン - hitode909の日記
見ているページのよく分からない言葉で検索したい，ということがよくある． よく分からない言葉を自分で打ちなおすのは疲れるし，マウスで選択するのもめんどくさいので，自動的に抽出したキーワードを提示して，そこから選ぶだけで済む，というVimperatorプラグインを作った． なにかページを見ていて，:heuristicsearchすると，ページ内のキーワードが自動的に出て，そこからいろいろ選んで，検索できる． 動画を撮って下にアップロードした． 2010-02-14_1507 - hitode909's library 仕組み まず，extract-content-javascriptを使って，いま見ているページの本文を抽出する． 次に，抽出した本文をYahooのキーフレーズ抽出APIに渡して，キーワードと，そのスコアを取得する． これで取得したキーワードとスコアを検索キーワードの候補として出し
Evernote Chrome拡張の本文抽出にはhatena-extract-contentが使われている | MemeTodo
2011年5月25日水曜日 Evernote Chrome拡張の本文抽出にはhatena-extract-contentが使われている 新しくなったEvernote Google Chrome エクステンション « Evernote日本語版ブログ で記事クリップ機能にページの本文の判定をするようになったとのことで、何のライブラリ使ってるのだろうと中身を見てみました。 Chrome拡張の保存場所は以下の通り Windows C:\Users\(ユーザ)\AppData\Local\Google\Chrome\User Data\Default\Extensions Mac ~/Library/Application Support/Google/Chrome/Default/Extensions 見て分かるようにlibフォルダにExtractContentJSが入ってたので、はてなのextr
Ruby で Web ページの本文を抽出する方法 - present
ExtractContent を使えばいい。 Webページの本文抽出 (nakatani @ cybozu labs) ただ、上の記事の ExtractContent は Ruby1.9 以上では動かなかった。正規表現エンジンが変わったからね…。 無ければ自分で修正することを前提に、GitHub で探したら、案の定 1.9 対応版を発見した。 mono0x/extractcontent 試しにこれを使ってみよう。 Gemfile に gem "extractcontent", github: "mono0x/extractcontent" を追加し、bundle でインストール。 使い方は簡単で、本文を抽出したい HTML を ExtractContent.analyse メソッドに渡すだけ。タイトルと本文が返ってきた。 # coding: utf-8 require "open-uri"
NAL研卒業研究ノート:: Rubyモジュール ExtractContent をPythonに移植してみた
ExtractContent は、HTMLから本文を抽出するRubyモジュールです。 RubyForge: ExtractContent: Project Info Webページの本文抽出 (nakatani @ cybozu labs) Perl用の同名モジュールもありますが、今回はRubyモジュールを基にしてPythonへ移植してみました。 # -*- coding:utf-8 -*- import re import unicodedata class ExtractContent(object): # convert character to entity references CHARREF = { "nbsp" :" ", "lt" :"<", "gt" :">", "amp" :"&", "laquo":u"\xc2\xab", "raquo":u"\xc2\xbb", }
Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hatena/extract-content-javascript