大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
Linus氏のC++に対する最近の否定的見解 | taro-nishinoの日記 | スラド
最近、Linus氏はまたしてもReal World TechnologiesのModerated DiscussionsフォーラムでC++に対する否定的見解を投稿したことは皆さんも御存知でしょう。主要な投稿は以下の5つです。 http://www.realworldtech.com/forums/index.cfm?action=detail&id=110563&threadid=110549&roomid=2 http://www.realworldtech.com/forums/index.cfm?action=detail&id=110577&threadid=110549&roomid=2 http://www.realworldtech.com/forums/index.cfm?action=detail&id=110618&threadid=110549&roomid=2 ht
linux-insides/linux-bootstrap-1.md at master · 0xAX/linux-insides · GitHub
GNU/Linux kernel internals Linux kernel booting process. Part 1. If you have read my previous blog posts, you can see that some time ago I started to get involved with low-level programming. I wrote some posts about x86_64 assembly programming for Linux. At the same time, I started to dive into the GNU/Linux kernel source code. It is very interesting for me to understand how low-level things work,
標準入力同士の diff - Qiita
ブログネタなんですが、こちらで公開した方が大勢の目に触れると思うので… コマンド command1 の出力結果と コマンド command2 の出力結果を diff (1) で比較したい場合、bash (1) の場合は以下の様にする事で簡単に比較できる。
知らぬはエンジニアの恥。今さら聞けない【コンテナ/仮想化技術】11選 - paiza times
Photo by Sam MacCutchan どうも後藤です！ もう10年以上になるでしょうか･･･ とにかくなんでもかんでも仮想化すればよいというこの風潮。paizaでも仮想化技術は大活躍中。インフラは仮想化技術の上に構築されているし、もちろんコードの評価環境だってばりばりの仮想環境上です。仮想環境ばっちこーい！ いったいいつからこんな流れになったんでしょう？どこに基準を求めるかでだいぶかわりますけれども、執筆現在から考えると、こうした流れには35年くらいの歴史があります。使われる仮想化技術は時代とともにかわってきました。だいたいどの時代にも流行ってものがありました。 最近（2014年ごろ）の流行とえば、インフラの一番下にハイパーバイザを入れて、その上でDockerを動かして、管理にはChefやPuppetを使うといったものです。数年経てば状況は変わるでしょうけれども、とにかく楽をした
Linuxアプライアンス類もBash脆弱性対策を - .@sknn's tumblr.
[NEW] 2014/09/30: アプライアンスの対応状況まとめを随時更新中 CVE-2014-6271及びCVE-2014-7169ねた(Bash脆弱性)。 世間では、外部公開サーバー(特にWebサーバー)への対処が着々と進められています。Webサーバーだけでなく、メールサーバーへの攻撃パターンも早期に見付かっています。外部公開サーバーに対する総合的な点検が近いうちに進んでいくものと思われます。 bash Shellshock through MAIL .forward / qmail-alias piping (ML program etc.) CVE-2014-6271 http://t.co/QPbSE8dppM http://t.co/AFuHudkCdh September 26, 2014しかし、一般的なサーバー類だけでなく主にファイアウォールの内部に設置されているアプライ
Linux で root パスワードを忘れてしまった場合に再設定する方法 - ablog
Oracle Linux on VirtualBox で root パスワードを忘れてしまった場合の対処法を説明したので、メモっておく。 シングルユーザーモードで起動して root パスワードを変更するだけです。 環境 VirtualBox 4.3.10 Oracle Linux 6.5 ブートローダはGRUBを使用している前提 手順 再起動する*1 [Machine]-[Insert Ctrl+Alt+Del]を選択する。 "Shut down this system now?"と聞かれるので、"Restart"を選択する。 シングルユーザーモードで起動する "e" を押す "↓"キーを押して "kernel" で始まる行を選択し、"e" を押す 行末に"1"と入力する（1はランレベル1=シングルユーザーモードを意味する） "b" を押して起動する root のパスワードを変更する pa
Ctrl+Cとkill -SIGINTの違いからLinuxプロセスグループを理解する | ギークを目指して
しばらくLinuxネタが続く・・。 近いうちに最近出たJava8ネタを書いてみようと思います。が、もう少しLinuxネタにお付き合いください。 前回はsshdを対象に親プロセスをkillした場合の動作を確認した。 killされたプロセスの子プロセスは孤児プロセスとなり、カーネルによって自動的にinitプロセスの子として扱われる事を説明した。（この動作を「リペアレンティング」と呼ぶ） 今回はこの続き。 Linuxで作業していてCtrl+Cしてプロセスを終了した場合、フォアグラウンドのプロセスやその子プロセスも一緒に終了する。 ということは、子プロセスは孤児として扱われず、リペアレンティングされていないことになる。 今回の記事ではこの振る舞いの違い（リペアレンティングされるか否か）に着目し、kill -SIGINTコマンドとCtrl+Cの違いについて考えていく。 そもそもkillコマンドやCt
無料で読めるlinuxのテキスト
ウェブ上で無料で読めるお気に入りのlinux関連書籍をリストアップしてみました。 今後もいいものに出会えたら更新する予定です。 日本語で書かれたlinuxの本 Linux標準教科書（Ver2.0.0） LPI-JAPANによる初心者向けテキスト。簡潔にまとまっていて文章も読みやすい。 フォーマット : PDF EPUB iPADアプリ Androidアプリ http://www.lpi.or.jp/linuxtext/text.shtml Linux道場 同じくLPI-JAPANによるlinux入門。 フォーマット : html http://www.lpi.or.jp/lpic_all/linux/ Linuxマスター.JP（リナックスマスター.JP） 各内容が細かくページ分けされていてる。充実した内容の解説集。 Linux Tipsを眺めるだけでも役に立つ。 フォーマット : html
RHEL7/CentOS7でipコマンドをマスター - めもめも
何の話かというと RHEL7/CentOS7では最小構成でインストールすると、ifconfig、route、netstat、arpなどのネットワーク関連のコマンドが使えません。これは、次のコマンドで「net-tools」パッケージを導入すると解決します。 # yum -y install net-tools しかしながら！ RHEL7/CentOS7では、net-toolsを「deprecated（廃止予定）」としており、今後は、iproute2パッケージに含まれる「ip」「ss」などのコマンドを使用することが推奨されています。 ・お客さんのRHEL7サーバーのメンテを頼まれたらnet-toolsが入ってなかった！ ・「えー。まだifconfigつかってんのー。」と若い同僚に冷たい目で見られた！ ・などなど といった事態に備えて、RHEL7/CentOS7を導入した際には、iproute2
ls のソースを読んでプログラマになりました - ablog
タイトルは釣りですw*1 とあるテキストファイルを加工してCSVファイルを出力する Perl スクリプトがあり、ディレクトリ内のファイルをリストアップしてCSVファイルに出力しているのだが、なぜファイル名でソートされていないのか聞かれたので調べてみた。 その Perl スクリプトは File::DosGlob::glob でファイルリストを取得していたので、 yazekats% mkdir tmp yazekats% cd tmp yazekats% ls yazekats% touch 3 yazekats% touch 2 yazekats% touch 1 yazekats% ls 1 2 3 yazekats% perl -MFile::DosGlob -e 'map{print qq/$_\n/} File::DosGlob::glob(q/*/)'; 1 3 2 試してみると確
Linuxカーネルハックに興味があるけど特にネタが無いんだよな〜って人向けの小ネタ - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
Linuxカーネルに興味があるんだけど特に作りたいものってないんだよなーなんて割とあると思う訳です。俺とか。。。 まあ、kernelnewbiesのメーリングリストでもよく見る話題かと思います。この辺なんかもそうですね。 で、そんな時にオススメできるのがkmemleak。カーネルに組み込まれたメモリーリーク検出ツールです。 使い方は至って簡単でカーネルのコンフィグレーションにあるKernel memory leak detectorを有効にしたカーネルを普通に使えばOK。カーネルはメインラインのrcでもtipでもlinux-nextでも何でも良いと思います。 設定の場所はKernel Hacking -> Memory Debugging -> Kernel memory leak detectorにチェックをするのと、 その下のMaximum kmemleak early log ent
/usr/local とは何なのか - 破棄されたブログ
ご用心: この記事を鵜呑みにせず、末尾に記載された一次ソースを確認してください。 ソースからソフトウェアをビルドしてインストールするときに使う /usr/local ディレクトリだけど、/opt ディレクトリとの住み分けとか、 そもそも標準はどうなっているのかとか、まともに知らんかったので Filesystem Hierarchy Standard を確認してみた。 /usr/local は何をすべきところなのか？ 他のホストと共有されない 既存のシステムの破壊防止 FHS 準拠のソフトウェアをインストールする /usr/local ディレクトリ下自体が FHS 準拠になる /usr/local ディレクトリは、システム管理者がソフトウェアをローカルにインストールするために用いる。 /usr/local ディレクトリとして隔離されるため、同名のファイル名で既存のファイルを上書きするなどして
MacBookAirで使っている便利ツール vol.2 - Qiita
##概要 ###Mac | Mavericks Mavericksの設定については、ブログでも何度か紹介してきましたので、割と簡単にいきたいと思います。 主に、使用しているツールを書いていきます。 ###Windows | Windows7 私の場合、メインとしてCygwinとPowerShellを使っています。 Windows7は、仮想環境上で動作させています。 アプリのインストールは、Chocolateyで行います。 その他、TerminalにConsole Zを使います。 ###Linux | Manjaro Linux 現在、もう一つのMacBookAirには、Manjaro Linuxを直接インストールしています。 ウィンドウマネージャは、Awesomeを使っています。 最初は、Macとのデュアルブートしてみたのですが、どうもしっくり来なかったので、Macは消しました。非常に快適
/tmpと/var/tmpの仁義無き戦い - Qiita
課題 /tmpと/var/tmpどっちも大体一緒だからいいんじゃないかと思って/tmpにファイルをつくろうとしたら、プログラムが使用するものは/var/tmpにと叱られた。確かに、基幹系システムのディストリビューションだと何故か/var/tmp派の人が多かった気がする。じゃあ、linux系特有の宗派の問題なのか？と思い調べてみた。 何が他のディレクトリと違うか 通常のディレクトリは、基本的にはファイルは削除しない限り消えない。 /tmpに関しては再起動するとファイルが綺麗さっぱり無くなる。 /var/tmpは再起動しても消えないがいつの間にかファイルが消えることがある。 うーん、やはり使用してきたディストリビューションのルールか、業務の慣例的なルールなのかなぁ。 やはり/tmpと/var/tmpは宗教論争なの？ そういうわけではないらしい。FHS(Filesystem Hierarchy
デジカメ内部でRubyを動かす狂気！無線LAN内蔵SDカードアダプタPQI Air Cardの間違った使い方
95MB/sで現在世界最速のmicroSDHCカード、SanDiskのExtreme Proを使用した場合、既存の製品であるEye-Fi、FlashAir、Flucard Proをはるか後方に置き去るスピードが出ます。4kのシーケンシャル書き込み38.98MB/sに注目。 これまでは無線LAN内蔵SDカードを使おうとする場合、スピードか、利便性かのトレードオフを迫られたのですが、そうした葛藤は過去のものとなりました。 速さも、利便性も、その両方が我らの手中にあります。 PQI Air CardはARM CPUを搭載。 # cat /proc/cpuinfo Processor : ARM926EJ-S rev 5 (v5l) BogoMIPS : 421.06 Features : swp half fastmult edsp java CPU implementer : 0x41 CPU
調べなきゃ寝れない！と調べたら余計に寝れなくなったソケットの話 - Qiita
なるほど、最近ソケット通信、ソケット通信と言ってるのはUNIXドメインソケットの事か！ UNIXドメインソケットって何がいいの？ Performance Analysis of Various Mechanisms for Inter-process Communicationに素晴らしい検証があった。 It was hypothesized that pipes would have the highest throughtput due to its limited functionality, since it is half-duplex, but this was not true. For almost all of the data sizes transferred, Unix domain sockets performed better than both TCP so
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sanonosa システム管理コラム集: コマンドリファレンス集
Raspberry piで作る手乗りGIS！
http://blog.jippahitokarage.com/entry/2014/02/20/050020