タグ

ブックマーク / blog.takuros.net (3)

  • プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい

    Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー/スクレイピングをオンラインで実行できるWebサービス(SaaS)です。クローラーを書いておいて何ですが、9割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。(書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後) kimonolabsとは? kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン

    プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
  • あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい

    3年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、4種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ

    あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
  • Macbook Pro RetinaのApple 85W MagSafe 2電源アダプタが燃えた件。 - プログラマでありたい

    Macbook Pro Retinaに使っているMagSafe 2電源アダプタですが、先週末に燃えました。萌えたのではなく、燃えました。かなり衝撃的だったのと注意喚起の為に、共有しておきます。 経緯と状況 ・2012年7月31日 Macbook Pro Retina購入。15インチなので、85WのMageSafe2 電源アダプタ ・延長コンセント経由で、充電。安い奴は電圧が安定しないと言われたので、Panasonic製でそこそこ信頼出来るモノを使用。(家庭用のものだけど) ・接触不良なのか、たまに充電出来ない時もある。また充電中にジリジリ言うことがあるので、Appleストアで相談も。(そんなものですと返される) ・2013年5月12日 充電しながらMacbookを使っていると、突然、火花を出す。慌ててMac側の電源を抜くも火花は継続。延長コンセント側を抜く。周囲にモノは置いていなかったので

    Macbook Pro RetinaのApple 85W MagSafe 2電源アダプタが燃えた件。 - プログラマでありたい
    sawaken55
    sawaken55 2013/11/26
    充電しながら寝たり出かけたりはやめよう…
  • 1