masudaKのブックマーク - はてなブックマーク

バッファキャッシュとAIO（1）
プロセスがブロックする要因の一つにファイルI/Oがあります。これを同期I/Oと言いますが、POSIXではAIO（非同期 I/O、Asynchronous I/O）も定義しており、I/O中でもプロセスがブロックせず他の処理を進められるようになります。本記事ではバッファキャッシュからファイル I/Oを解説し、Linuxのio_submit(2)を用いたPOSIX準拠のAIOライブラリを試作してみます。ファイルI/Oとバッファキャッシュ io_submit(2)ではDirect I/Oを用いますが、ライブラリの試作へ進む前にまずファイルI/Oのバッファ（バッファキャッシュ）について整理します。実は単にバッファと言ってしまうと誤解される場面が多くあり、例えばプログラミング入門一般としてファイルI/Oを取り上げる際には、 CPUの動作は速い。ディスクの動作は遅い。両者の間に速度差を緩和する緩衝
masudaK 2012/08/22
linux

aio
リンク
MongoDB & Python
NoSQLデータベースMongo DBをPythonと組み合わせて使う方法を概説した書籍です。Python 2.7とpymongoを利用してMongo DBのさまざまな機能にアクセスします。Mongo DBへの接続、データの読み書き、削除といった基本的なものから、サブドキュメントの利用、位置情報の操作、アップサートなどMongo DBに特化した機能までを紹介します。またPylons、Pyramid、DjangoとMongo DBを組み合わせて利用するための基本的な情報も掲載しています。なお本書はEbook版のみの販売となります。まえがき 1章　使ってみるはじめに参照ドキュメントのありか Mongo DBのインストール Mongo DBの実行 Mongo DBを使うためのPython環境の設定 2章　Pythonを使ったMongo DBの読み書き Mongo DBとPythonを接続するデータベースハン
masudaK 2012/06/01
MongoDB

python
リンク
Python の名前空間とスコープ
プログラムのロジックを考え、実装を行う上で、変数の名前空間やスコープはとても重要です。これらはロジックを組み立てる上での複雑さに直結し、ソースコードの読みやすさにダイレクトに関係してくるためです。この記事では、私が Python で開発をする上で気をつけるようにしている名前空間やスコープに関するお話をします。コーディングスタイルについて名前空間やスコープの前に、まずは基本的なコーディングスタイルについて軽くお話しします。 Python のコーディングスタイルというと、 PEP 8 – Style Guide for Python Code (日本語訳はこちら )が有名です。これは、 Python でプログラムを書く上で守っておくとよいお作法について書かれており、 Python のコーディングスタイルとしてはデファクトスタンダードといえるでしょう。この PEP8、例えば以下のよ
masudaK 2012/01/14
Python

コーディングスタイル
リンク
バッファキャッシュとAIO（2） - O'Reilly Japan Community Blog
プロセスがブロックする要因の一つにファイルI/Oがあります。これを同期I/Oと言いますが、POSIXではAIO（非同期 I/O、Asynchronous I/O）も定義しており、I/O中でもプロセスがブロックせず他の処理を進められるようになります。今回は、バッファキャッシュを意識したさまざまなファイルI/Oについて解説します。メモリマップ I/O ファイルI/Oの一種にメモリマップI/O、mmap(2)があります。mmap(2)（およびmmap2(2)）はオープンされたファイルをプロセスアドレス空間へマッピングするもので、例えばアプリケーション内に領域を用意し、ファイルを読み取る動作は次のようにも実装できます。 3mmap.c 要約 { char a[N]; fd = open(path, O_RDONLY); read(fd, a, N) printf("%.*s\n", N, a)
masudaK 2011/05/17
kernel
リンク
1