LTSVログをパースする最強のワンライナー集 · DQNEO日記
最初に結論 これ最強 cat accesslog | perl -F'\t' -nale '%h=map{split/:/,$_,2}@F;print"$h{time}\t$h{ua}"' なぜPerlワンライナーなのか？ LTSVログを解析するには、Perlのワンライナーに限る。 なぜならPerlはほとんどのサーバにデフォルトで入ってるから。 Perl 5.8で動くワンライナーを覚えておけばどの環境でも使える。 「何にも依存しない」 これ最強。 基本中のキホン まずは基本形です。 これだけは絶対覚えてしまいましょう。 perl -nale 'print' % cat access_log | perl -nale 'print ' time:[22/Feb/2014:15:13:07 +0900] host:10.10.200.102 ident:- user:- method:GET
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
ご予算がないのでmrtgでWindowsの資源監視をする - uzullaがブログ
引き続きWindowsのネタで恐縮ですが、サーバの資源監視をしなければならないことになりました。 Linuxだと豊富にツールがあるですが、イマドキWindowsだとどうするのが鉄板なんですかね？ 「Windowsの資源監視どうやってやるんだよ、パフォーマンスカウンタとか超つかいづらい」ってかいたら怒られそうなのですが、パフォーマンスカウンタで常時値を撮り続けるのは、ちょっと調べた限りCSV出力orバイナリ出力(パフォーマンスカウンタで開ける)しかないようで、これはあつかいづらい…。 で、ググってみたのですが、あまり存在しない。 正しく言えば、お高いよくできた製品はポロポロ有るのですが、簡単なやつでよくて、タダでやりたきゃFOSSのMrtgとかつかえ、という感じの模様です。 10台までなら、 http://www.paessler.com/prtg というのが使えそうです。 いい感じですが、
一行野郎（ワンライナー）でテキストファイルの行間に空行を入れたり削ったりする - 週末には少しPerlを。
元ネタ ワンライナーでいろいろな事ができるようになるとカッコイイだろうなと 思いつつ手頃な教科書を探していたのですが、 "Perl One-Liners Explained" という記事が英文ですが読みやすかったので、 ここに第一章の覚書メモを残すものです。 行間に空行を入れるには 各行に改行を付加して出力する方法 perl -pe '$_ .= "\n"' とすればよろしい。3行の間隔を開けたいなら"\n"x3とする。 -p スイッチは次のコードと等価になるとのこと。 while (<>) { # your program goes here } continue { print or die "-p failed: $!\n"; } 別解として、$OUTPUT_RECORD_SEPARATORを変更する方法や、 perl -pe 'BEGIN {$\="\n"}' 行末を置換する方法も
英語で数字が聞き取れないので練習スクリプト書いた - As a Futurist...
ビジネス英語で一番最初につまづくのが、数字が全然聞き取れないこと。3 桁ずつに区切ってるのは頭では理解してるんですが、そもそも 3 桁の数字が全然把握できない。。。 そういえば Mac にはsayコマンドというしゃべらせるコマンドがあったなぁというわけで、超やっつけですがそれを使ってひたすら延々と数字を聞きとっては答えるスクリプト作りました。 使い方はこんな感じ。以下では分からないですがターミナルでは正解だと緑、間違ってると赤色になります。 $ perl practice.pl What is the number?[NUM|r|e] : 201 [0.986 sec] Right! (201) What is the number?[NUM|r|e] : 241 [1.060 sec] Right! (241) What is the number?[NUM|r|e] : 865 [2.
今すぐフォローすべきPerl界のスーパーエンジニア - すぎゃーんメモ
今すぐフォローすべきnode.js界のスーパーエンジニア - 大人になったら肺呼吸の記事に便乗しまして。 独断と偏見に基づいて、自分がフォローしているPerl界隈の人から数人をピックアップして並べてみます。 @dankogaiさん blog: 404 Blog Not Found Perlへの言及はそれほど多くないけど 要所要所で鋭いツッコミが @hidekさん blog: hide-k.net#blog 同じ会社の人たちとの絡みが面白い。深夜のDJも注目 @Yappoさん blog: YappoLogs 基本的にネタ発言が多いけど面白いので大好きです @acotieさん blog: iDeaList::Writing Perl界の女性エンジニアでは最も有名？ @kamipoさん blog: かみぽわーる MySQLとかインフラな話とか。空mentionすると瞬時に返してくれるbot @w
プログラミング初心者にオススメのPerl本 - Islands in the byte stream (legacy)
この時期、Perlを学び始める方も多いと思います。そこでプログラミング初心者がPerlを学ぶのに適した本を、私が実際に読んだことのあるものの中から選んでみました。 1冊目 1冊目はなんでもいいと思うのでとりあえず定番としてリャマ本を挙げておきます。 初めてのPerl 第5版 作者: Randal L. Schwartz,Tom Phoenix,brian d foy,近藤嘉雪出版社/メーカー: オライリージャパン発売日: 2009/10/26メディア: 大型本購入: 22人 クリック: 293回この商品を含むブログ (41件) を見るこれで基本的なPerlの文法が学べるはずです。この手の入門書は「課題」がつきものですが、すべて解く必要はないと思います。幾つか気になるもの・面白そうなものだけ試してみればいいでしょう。 1冊目読了の辞典では、以下のプログラムの簡易バージョン*1を実装できるよう
Perlの自作フレームワークで作る、アジャイルなWebサービス - はてなニュース
「えっ、そんなはてなとそっくりみたいなことしている会社があるんですか」。Webアプリケーションの開発言語はPerl、Webアプリケーションフレームワークは自社で作り、Webアプリケーションを開発して、CentOSで動作させる――。そんな、はてなの開発とよく似た開発をしている会社が、リクルートメディアコミュニケーションズ（以下RMC）さんです。はてなチーフエンジニアの大西が、自社フレームワーク開発の経緯や、その実際を、RMCの現役エンジニアさんたちに聞きました。ライターの青宮しおりがまとめます。 （※この記事は、リクルートメディアコミュニケーションズ提供によるPR記事です） ――今日はお時間ありがとうございます。はてなでチーフエンジニアをしている大西です。2001年、はてなの創業の年からはてなで働き始めて、はてなの開発を取りまとめてきました。今日は、3人のかたとお話しできるのですね。簡単に自
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
にぽたん - 正規表現信者の憂鬱
にぽたん - 正規表現信者の憂鬱 - 05:35 - Apr 20, 2007 () Rate: にぽたん - 正規表現信者の憂鬱 (YAPC::Asia 2007) Download video - iPod/PSP | Embed video Download is starting. Save file to your computer. If the download does not start automatically, right-click this link and choose "Save As". How to get videos onto the iPod or PSP. <embed id="VideoPlayback" src="http://video.google.com/googleplayer.swf?docid=4498027621721759
第11回 Kansai.pm / スペルミス修正プログラムを作ろう - naoyaのはてなダイアリー
昨日は第11回 Kansai.pm でした。 今回は無理を言って自分がホストを担当させていただきましたが、面白い発表が多く開催した自分も非常に満足でした。 PFI の吉田さんによる Cell Challenge での計算機に合わせたアルゴリズムのチューニング手法の発表 (発表資料) は圧巻でした。伊奈さんの本文抽出の話 (発表資料)、はこべさんのコルーチンの話 (発表資料)、いずれも難解になりがちなところを凄く分かりやすく解説されていて、さすがだなと思いました。各々ショートトークも、いずれも良かったです。 スペルミス修正プログラムを作ろう 自分も 20 分ほど時間をいただいて、スペルミス修正プログラムの作り方について発表しました。 スペルミス修正プログラムを作ろうView more presentations from Naoya Ito. スペルミス修正プログラムについてはずばり スペル
キャッシュしよう
京都観光で散財しすぎて貯金がないmalaです。こんにちは。キャッシュの話を書きます。 色んなキャッシュがあります データベースから引く前にmemcachedから取得したり テンプレートエンジンのレンダリング結果をキャッシュしたり 各種ウェブサービスのリクエスト結果をキャッシュしたり その他諸々CPUを食ったり時間のかかる処理をキャッシュしたり 簡単に思いつくのはこの程度ですが、スケーラブルなウェブサイトを構築するには常識的に考えてそんなのキャッシュしねーだろうというようなものをキャッシュする必要があります。 DateTimeをキャッシュしよう 同じ時刻に対するDateTimeオブジェクトをキャッシュします。 package MyDateTime; use strict; use base qw(DateTime); my %CACHE; sub now { my $class = shif
Higher-Order Perl
by Mark Jason Dominus Order Higher-Order Perl online from Powell's Books Download full text here There are three versions available. You have your choice of structure or presentation, but not both. License reminder Higher-Order Perl is copyright ©2005 by Elsevier Inc. Unauthorized reproduction or distribution is absolutely forbidden. You may download the book for your personal use, but you may not
HTMLから本文を抜き出せるモジュールHTML::ExtractContent - perl-mongers.org
This domain may be for sale!
Modules on CPAN alphabetically
CPAN's 34630 modules distributions in alphabetical order by modules contained in the distributions Sun Mar 10 11:41:08 2024 UTC The list contains modules distribution files on CPAN for modules that are not included in the perl standard distribution but are included in the current release of Perl Module List. To keep the size of this list acceptable, it does not list which modules are in each packa
mixi Engineers’ Blog » IRCボット（Robotaro_DX）のソースコードを公開しちゃうよ！
こんにちは、求人情報サイト Find Job !の開発を担当しているmasutaroです。 今日は、前回のエントリ「IRCのボットで職場(Find Job !事業部)を楽しく便利に！」でお話していたとおり、Robotaro_DXのソースを晒したいと思います。公開が遅くなった理由は、僕が無精者だからではなく、ソースをさらすのが怖かったからでもありません。みなさんをじらすためです(汗)(汗)(汗)；-） それでは早速ですが、使い方の説明をしたいと思います。こちらからソースコードをダウンロードしてください。 ファイル構成 ダウンロードしたファイルを解凍すると、以下のようなファイル構成になっていると思います。 解凍したディレクトリ │ ├─ robotaro_irc.pl │ ├─ config.yml │ └─ lib ─ Robotaro ┬─ Hotpepeer.pm │ └─ Wheath
Perl-users.jp - 日本のPerlユーザのためのハブサイト
Perl Mongers Perl Mongers とは、日本各地に存在する、Perl ユーザーのコミュニティのことです。各種イベントが行われていますので、是非参加してみましょう。 Shibuya.pm Fukuoka.pm Kansai.pm (@kansaipm) Yokohama.pm (@yokohamapm) Hokkaido.pm (@hokkaidopm) Nagoya.pm (@nagoyapm) Kushiro.pm (@kushiropm) Kyoto.pm (@kyotopm) Kamakura.pm Niigata.pm (@niigatapm) Sendai.pm (@sendaipm) Tokyo.pm Hachioji.pm (@hachiojipm) Chiba.pm (@chibapm) Yomitan.pm (@yomitanpm) Machida.pm
404 Blog Not Found:perl - Dir::Tree つうのを書いてみた
2007年11月07日23:00 カテゴリLightweight Languages perl - Dir::Tree つうのを書いてみた そんなあなたに、こんなモジュールを書いてみた。 tree コマンドが便利 - IT戦記 もっと直感的に（あまり考えずに）、探せるコマンドはないのかなあと思って tree コマンドを使ってみた。使い方は、こんな感じ。 % perl -Ilib -MDir::Tree -e 'print Dir::Tree->new(shift)->tree_cmd(1)' . |-- Changes |-- MANIFEST |-- Makefile.PL |-- README |-- lib | |-- Dir | | |-- #Tree.pm# | | |-- Tree.pm |-- t | |-- 00-load.t | |-- boilerplate.t | |
Perlメモ
複数のプロセスでロック状態が異常であると判断し，そのうちの 1つがロックを解除したことにより，別のプロセスがロックしたにもか かわらず，先ほどロック状態が異常であると判断したプロセスによってこの正常なロッ クを解除されてしまう可能性があります． この方法の問題点は，異常なロック状態を解除する操作が正常なロック状態をも 解除できてしまうことにあります．逆に言えば，異常なロック状態を解除する操作に よって正常なロック状態を解除できなければ問題ないわけです．そのためにはどうす ればよいのか？ 答えはロック状態が常に変化していけば よいということです．そして，これを実現するのに都合がよいのが rename による方法になります． 最初のスクリプトで説明しますと，ロックファイルが lockfile という 名前のときがロックが解除されている状態で，lockfile987654321 のよう に後ろに
HTMLタグを取り除く - にししの Perl/CGI Tips ふぁくとりー
上記の正規表現 <.*?> で、タグを表現しています。 最初に「 < 」が、最後に「 > 」がありますね。その中に「.*?」とあります。 「.*」は任意の文字列に一致します。どんな文字にも一致するわけです。その後に「?」があるので、そのうちの「最小の長さのもの」に一致します。 総合すると、「 < 」～「 > 」で囲まれた任意の文字列のうち最も短いものに一致するわけです。 それを削除しているわけです。 ※「?」がないと、ソース先頭の「 < 」とソース末尾の「 > 」に一致してしまい、ソース全部がまるごと削除されてしまいます。ですから、「?」は絶対必要です。 最後の「g」は、一致するものが複数個ある場合、それら全てに対して置換を行わせる指示です。これがないと、最初の1つのタグだけしか消せません。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
