ストアドを使って、Webスクレイピングをしよう！ - moriyoshiの日記
こんにちは、SQLを愛してやまないmoriyoshiです。 ストアドプロシージャは、一連のSQL文をサブルーチンのようにDBサーバに記録しておき、後からそれを呼び出すことができるようにする仕組みです。近代的なRDBMSには標準的に備わっている機能といえます。 制御構造などもSQL文で記述することができるので、結果的に、あらゆるロジックをSQLのみで記述することができます。手続き型プログラミングにどっぷり浸かった現場の方から愛用されていると言われています。 今回は、ストアドプロシージャの応用として、Webスクレイピングを行なってみましょう。Webスクレイピングとは、特定のWebサイトにアクセスし、そのページの内容 (HTML) を取得、解析し、必要な情報を取り出すという一連の操作を自動化することです。Webスクレイピングを効果的に活用すると、人間がブラウザに向かって単純作業を繰り返す必要がな
YAPC::Asia Tokyo 2010 に行ってきた :ダメ人間オンライン
2010年10月14〜16日に開催された(14日は前夜祭)YAPC::Asia Tokyo 2010に行ってきました。 私は今年初参加です！ しかも16日にLTまでやってきました！！ 勢いで応募したのですが、そうそうたるPerlHackerの皆様と同じページに名前が載ったりしてるのを見てテンションが上がると共に当日までびびりまくるという生活の始まりでもありました。 LTで使った資料はこちら werlとwwencodeについては別でエントリ書きます。 Why? そもそも何で勢いででもLTに応募しちゃったかというと色々と考えるとこがあったわけです。 うまく言葉にできないのですが、Perlだけでなく様々なOSSやコミュニティやそれに関わる人達から恩恵を受け続けて今の私がいます。 そしてこれからもきっと恩恵を受け続けるのであろうことを考えた時に、色々もらってばっかりいるけど自分は何か貢献できてるの
ガリガリ君の当たり棒を偽造してみる
iphone4の偽物が中国で出回っていて、通信会社のsimカードが２枚入れられて便利らしい。 お前らに罪悪感って物は無いのかね？ まあ、日本もアメリカの製品を模造して成長して来た訳で、中国人からしてみたら日本人には言われたくない。 って感じかね。 さて．．． ＴＶ見ながらガリガリ君を食べていたら「当たった！！！」 今年に入って何本も食べているが初である。 景品表示法で2％以内って事で50本に1本しか当たりはないんだよね。 よし！早速ノギスで採寸じゃ。 各部の寸法を測ってCADで設計してみる フォントが難しい．．．手持ちのフォントだとUIゴシックでほぼ似た感じにはなるがちょっと独特だねぇ。 特にフォントサイズが漢字とひらがなでバラバラでして．．． 「ガリガリ君かガリ子ちゃんと交換できます」 って感じ。 「ガリガリ君リッチとは交換できません」って文字は全体に0.1ｍｍ程度大きくて文字間も上の行
SPYSEEは違法サイト - Cyberlaw
ＳＰＹＳＥＥというサイトがある。 SPYSEE http://spysee.jp/ 勝手に他人の肖像写真を掲載しまくっているサイトだ。つまり，デフォルトで著作権侵害，肖像権侵害，パブリシティ権侵害を基礎とする根っからの違法サイトだ。 しかも，ある特定の個人と関係があるとして誰か別の特定の個人とのリンクのようなものを表示する機能もあるが，無関係な人までリンクを形成することは事案によっては重大な名誉毀損行為となる。 もちろん，私の写真も掲載されているが，それは別サイトに限定して掲載することを条件として提供した私の著作物なので，明らかに複製権及び公衆送信権の侵害になる。さきほど，警告のメッセージを送信し，サービスの提供を停止するように勧告した上で，適切に対応しない場合には著作権法違反の罪で告訴することを通知した。以前，別の人を通じてやんわりと警告したのに改善が見られなかったことからこのようにした
小悪魔女子大生のサーバエンジニア日記
ECC版SSL証明書インストール体験記その4 02.08.13 / 未分類 / Author: aico / Comments: (0) では、いよいよ発行されたECC証明書をインストールしましょう！ 実はECC版SSL証明書は現在、ブラウザ・OSによっては対応していないものも多いので、 対応していないものはRSAの証明書を読むように、ECCとRSAのハイブリッド構成をすることが出来ます。 そしてなんと、ECCの証明書を申請するとRSAの証明書も一緒にもらうことが出来ます(ベリサインさん太っ腹！) なので今回はECCとRSAのハイブリッド構成を組みつつ証明書のインストールを行います！ まずはベリサインのサイトで中間証明書を確認しましょう。 発行されたCRT、中間証明書、秘密鍵は必ず対になっている必要があります。 対になっていないとエラーになってしまいます。。 小悪魔ブログは最初、中間証明書
今からでも遅くない、本当に明日使えるApache mod_rewriteの小ネタ - （ひ）メモ
RewriteCondでは、日時の情報も使えるので: RewriteEngine On RewriteCond %{REQUEST_URI} !^/0401/ RewriteCond %{TIME_MON}%{TIME_DAY} 0401 RewriteRule . /0401/ [R,L]enjoy! 追記 (2010-04-01) あわせて読みたい、というかこっちの方がちゃんと解説してあります。 mod_rewriteで期間指定のリダイレクト | gmt-24.net "<"や">"と[OR]を使って、日時の範囲を表現しています。すらばしす。 蛇足ですが、 RewriteCond ...1 RewriteCond ...2 RewriteRule ...3という書き方をしますが、マッチんぐの検査順は、上から順に RewriteCond ...1 RewriteCond ...2 Rew
Geekなぺーじ : いいから殺せ。後はこっちでなんとかするから
IT業界って怖いですね～（棒読み） 何でそうなった？ そもそもの発端は、私が現在執筆中のLinuxネットワークプログラミング書に書いているコラムのための質問でした。 Wiresharkやtcpdumpを利用したパケットキャプチャによる通信プログラムのデバッグを解説する際にプロミスキャスモードとは何かという話を書いていたのですが、その最後にちょっとしたコラムを書くためのブレストとしてTwitterで質問をしました。 で、結局出来上がった原稿は以下のような感じです。 Twitterでコラムの内容を見たいと発言されている方がいらしたので、出版前ですが晒してしまいます。 コラム：ぁゃιぃ UNIX用語 (☆ 「あやしい」の部分は、xa xya イオタ xi です。) プロミスキャスモードを「無差別モード」と訳す場合が多いのですが、この「Promiscuos」という単語は性的な意味を含む英単語なので
彼氏がMyISAM使ってた。別れたい… - kazuhoのメモ置き場
追記: マジメな比較はこちら：Open database life: MyISAMとInnoDBのどちらを使うべきか MyISAMだとPostgreSQLと並べられた時なんか恥ずかしいｗｗ 下向いちゃうしｗｗ ウェブサイトにはせめてInnoDB使って欲しい・・・ 勉強会とかで発表されたら・・・・もう最悪ｗｗ せめて普通にトランザクションやMVCCぐらいは対応して欲しい。 常識的に考えて欲しいだけなんです！ MyISAMでテーブルロックしちゃった時の遅さとか分かる？ あのね？たとえばピーク時10〜20並行ぐらいで書込みとか行くでしょ？ それぞれ別の接続で来るわけじゃない？ みんな普通にグループコミットやアシッドネス期待してるわけでしょ？ MyISAMでテーブル壊れてリペアしてたら大恥かくでしょうがｗｗ じゃあ MyISAM はどういう用途に適しているのか。待て！ 次号！*1 参考: 彼氏が軽
高木浩光＠自宅の日記 - こたえはきっとソースの中に 〜 ドコモのCAPTCHAモドキ
そもそもこのサービスにとってCAPTCHAが何の意味をなすのか疑問*1だが、それはともかく、この部分のHTMLソースを見ると、画像のURLに答えが書かれている。（図2の「gifcat/call.php?SID=948545」） これでは何の意味もない。 これの目的がもし、他サイトからのリンクで検索させられる事態を防ぐためであるなら、画像なんか表示せず、直接INPUTフィールドに値を埋め込むようにしておけばいい話だ。*2 <input name="attestationkey" value="948545" type="hidden"> ちなみに、図2で示される画像のURLに直接アクセスしてみると、図3のように、リロードする毎に（同じ番号の）違う画像が現れる。何回か繰り返してみると、1つの数字あたり4種ほどの画像が用意されているだけだとわかる。 背景のノイズのようなものも、動的に生成されてい
Perlスクリプトを数字列に変換するモジュールAcme::Decimalizeを作ってみた - すぎゃーんメモ
前のエントリでマジメに勉強しようと誓ったばかりだけど、とりあえず作ってみようと思ったものは作っておかないと気が済まなかったので。 「Acme::Decimalize」というAcme::Bleach系のモジュールを作ってみました。 http://github.com/sugyan/Acme-Decimalize 中身 あらゆるPerlスクリプトは10種類の記号と改行だけで表現できるか？ - すぎゃーんメモで考えた記号化を数字に置き換えてみただけです。 使い方 このモジュールをuseすると、スクリプトを0~9の数字の羅列に置き換えることができます(途中、改行を挟む)。 例えば、以下のようなスクリプト'hoge.pl' print'hoge ' に対し、以下のコマンド perl -MAcme::Decimalize hoge.plを実行すると、 use Acme::Decimalize; 183
株の質問にすごく優しく答えるスレ:アルファルファモザイク
■編集元：株式板より「株質問・すごく優しく答えるスレ132」 1 山師さん :2009/08/05(水) 11:22:16 ID:1CCubSkD 株式市場にお盆休みはありません。通常通り土日のみ休みです→東証カレンダーhttp://www.tse.or.jp/tseHpFront/HPTCDS0701.do -------- ここは初心者からベテランまで、 全ての人を対象に優しく答えるスレです。 類似質問大いに結構。 分からない人は何回聞いても結構。 現物・信用・先物、株の事なら何でもでもOK。 回答してくれる方は優しい人のみ！ ○○読めっ・・・何度も聞くな・・etc などと言う奴は このスレを見るな！！ 以上。 ■前スレ 株質問・すごく優しく答えるスレ131 http://dubai.2ch.net/test/read.cgi/stock/12479232
全裸で形態素解析をするスクリプト - すぎゃーんメモ
ゲレンデがとけるほどくだらないスクリプト - すぎゃーんメモに引き続き、くだらないスクリプトを。 今度は動詞の前に「全裸で」を挿入する。 #!/opt/local/bin/perl use strict; use warnings; use JSON 'decode_json'; use LWP::Simple 'get'; use Text::MeCab; use Readonly; Readonly::Scalar my $zenra => '全裸で'; # 引数に文章があればそれを対象に my $text = shift; if (defined $text) { print zenrize($text), "\n"; } # 引数指定が無い場合はWassrのPublic Timelineを使用する else { my $json = get 'http://api.wassr.jp
mixiをお使いのみなさんは8月18日から利用規約違反になりますよ
mixiをお使いのみなさんは8月18日から利用規約違反になりますよ [mixi] 利用規約改定のお知らせによると 自己または第三者の住所、電話番号、メールアドレス等の個人が特定される連絡先を、 本サイト内のユーザー全体に公開される箇所に投稿する行為。 が8月18日から禁止されるそうです。 禁止されるのは 個人が特定される 連絡先 の両方の条件を満たすものですね。 福冨諭 ← 氏名なので、個人を特定できるが、連絡先ではないのでセーフ fuktommy.com ← Whoisで検索すると氏名が出るので、個人を特定できるが、連絡先ではないのでセーフ 会社の代表電話 ← 連絡先ではあるが、個人を特定できないのでセーフ http://mixi.jp/show_friend.pl?id=30173 ← 氏名が表示されるので、個人を特定できるが、連絡先ではないのでセーフ http://mixi.jp/s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
高木浩光＠自宅の日記 - Macっ娘ならオートメータ君つかいたおすわよね
https://nwitter-dvd.com/
これはww ジョブスここまでやるかw
この恵方巻を売っているセブンは反省すべき
bayashi.jp
http://twitter.com/GachapinBlog/status/3831412067
