Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita
私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。 作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。 このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる 上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。 日本取引所グループ 「よし上場前からきっちりスクレイピングして事前に準備しておくぞ」と思っても、上場にあわせてサイトをリニューアルしたりする企業も多いので油断なりません。 官公庁のサイトは、民間企業に比べるとはるかに移転が少なく落ち着いています。 地方公共
検索ではあんまり出ないbashの便利技 - Qiita
bashでは記号類をたくさん使うので、この書き方は何？と思っても検索でなかなか出てこないことがあると思う。 そこで知っていると便利なコマンドを残しておく。 随時追記予定。 確認に使用したbashのバージョンは以下のとおり。
2015年8月に見つけたWEBサービス等作ってみた記事まとめ - undefined
8月分です。Electronなど多め。 Raspberry PiとOpenCVでスプラトゥーンの勝敗を自動記録する仕組みを作ってみた hogesuke.hateblo.jp つくったもの ikashot.net どんなもの？ スプラトゥーンではバトルの履歴を見れないようになっているので、勝率がわかりません。自分の勝率がどの程度なのか知りたいなーと思ったので、勝敗を自動記録する仕組みを作ってみました。 使用技術・環境 Raspberry Pi OpenCV sinatra Ruby Electron と Polymer と TypeScript でリッチなマークダウンプレビュアー Shiba つくった rhysd.hatenablog.com つくったもの github.com どんなもの？ 結構前ですが，mattn さんが小さい markdown ライブプレビューアプリ mkup をつくっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
