大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
従来のデータベースをメモリに載せるだけではだめなのか？ インメモリとカラム型データベースの可能性を調べる（その2）
従来のデータベースをメモリに載せるだけではだめなのか？ インメモリとカラム型データベースの可能性を調べる（その2） 現代のサーバは1台で複数のプロセッサを備え、数百ギガバイトから数テラバイトのメインメモリを搭載可能です。これは多くの企業で利用されているデータベースがそのままメモリに載るほどの容量です。 大量のメモリを搭載したサーバを用いれば、Oracle DatabaseやSQL ServerやDB2など従来のディスクベースのデータベースでも、データベースをまるごとメインメモリのバッファキャッシュに載せることができます。そうすればディスクアクセスのボトルネックは事実上ほとんどなくせるため、高速なデータベースアクセスが実現します。 だとしたら、データベースをすべてメモリに載せる機能を備えたインメモリデータベースを、わざわざ使う必要はあるのでしょうか？ この疑問は、以前の記事「キャッシュの大き
Apache のチューニング（その1）
先日より続いているアクセス不具合についてチューニング（というほどのものではありませんが）を実施しました。何回か報告する機会がありそうなのでとりあえず「その1」に。 不具合に関連する事象で把握できているのは次の3点です。 Apache プロセスのメモリが増加し続け（メモリリーク）、1日で数百MBに膨れ上がる 何らかの契機にレスポンスが突然遅くなる（お昼休み等、アクセスが集中すると×？） Apache を再起動すればアクセスは正常になる チューニング関連の記事を調べた結果、下記の2つのディレクティブについて httpd.conf に設定することにしました。 MaxRequestsPerChild これは個々の子サーバが稼働中に扱うリクエスト数の上限で、このディレクティブに設定された値を超えると子プロセスは終了（再起動）します。デフォルトは 0（=子プロセスを終了しない）ですが、現在は 5000
VMwareの仮想ネットワークの種類 - 現場指向
Windowsを開発用のOSとして使用している私のような人間にとって、VMWareは、手軽にUnix環境でプログラムを動かすことのできる便利なツールです。ただ、最初戸惑ったのが、VMwareの仮想ネットワークでした。これが理解できていないときは、ネットワークの接続がうまくできずにVMwareを利用するのが億劫になっていました。逆にわかってからは、意図したとおりにネットワークが構成できるので楽しくなります。そこで、今回はVMwareの仮想ネットワークをうまく使いこなせるための知識を説明をしていきたいと思います。 VMwareの仮想ネットワークには、以下の３種類の形態があります。 Bridged NAT Host Only これらを順番に説明していきます。 Bridged 概要 ホストと同じネットワークにゲストを接続する形態です。なので、ネットワーク上の他のマシンからすれば、ネットワークに新し
IBMが創設100周年 特設サイトでPC発明エピソードなど語る
IBMが6月16日に創立100周年を迎え、特設サイトを開設した。これまでの歴史を語ったり、記念グッズを販売している。 特設サイトではサミュエル・パルミサーノ会長のメッセージのほか、アポロ・ミッションへの貢献などさまざまなエピソードを掲載している。IBMの当時の社員や関係者がこれまでの歩みを語る動画も公開されている。 動画では、例えば1981年に発表されたIBMパーソナルコンピュータの開発時のエピソードも語られている。将来樫の木のように大きく成長することを期待して「どんぐりプロジェクト」と呼ばれていたという。12人からなる開発チームの1人は、「もっと速く『パックマン』ができるコンピュータを作りたかった」ため、テストケースにパックマンの動作確認を組み込んだと話す。オフィスに来る人にはよく、「テストしてるんだ、新しいマシンのテスト中なんだよ！」と言っていたそうだ。 ほかにも、アポロ13号が故障で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bnote File Not Found!
世界中の船舶データをIBMクラウドで管理する日本海事協会