Zip - How not to design a file format.
The Zip file format is now 32 years old. You'd think being 32 years old the format would be well documented. Unfortunately it's not. I have a feeling this is like many file formats. They aren't designed, rather the developer just makes it up as they go. If it gets popular other people want to read and/or write them. They either try to reverse engineer the format OR they ask for specs. Even if the
ファイルに書きこみを行ったらかならず fsync しよう - にょきにょきブログ
通常、なんの考えも無しにプログラムがファイルに書きこみを行った後、運悪くシステムがクラッシュするとファイルが失われる可能性がある。通常のファイル書き込みはファイルに書き込んでいるように見えて実はバッファがメモリ上に蓄えているだけだからだ。このメモリ上に蓄えられた、いずれストレージに書き込むデータのことをダーティページと言う。何もしなくてもダーティページに書きこまれたデータはカーネルが定期的にストレージに書き込むのだが、若干のタイムラグがある。この間にクラッシュするとデータが失われるわけだ。データが書き込んだ直後、すぐストレージに書き出したい場合は fsync システムコールを呼ぶ必要がある。 C や C++ といった低レイヤーを扱う言語なら fsync を呼ぶだけで良いが、Java のような高級言語でどうやって fsync を発動させればよいか。 通常のファイル書き込み 下記のような一般的
Overwriting is much faster than appending
Writing small volume of data (Bytes-MBs) with sync (fsync()/fdatasync()/O_SYNC/O_DSYNC) is very common for RDBMS and is needed to guarantee durability. For transactional log files, sync happens per commit. For data files, sync happens at checkpoint etc. Typically RDBMS does syncing data very frequently. In this case, overwriting is much faster than appending for most filesystems/storages. Overwrit
Why buffered writes are sometimes stalled
Many people think buffered write (write()/pwrite()) is fast because it does not do disk access. But this is not always true. Buffered write sometimes does disk access by itself, or waits for some disk accesses by other threads. Here are three common cases where write() takes longer time (== causing stalls). 1. Read Modify Write Suppose the following logic. Opening aaa.dat without O_DIRECT/O_SYNC,
そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
超高速ファイル検索ソフト「Everything」がバージョンアップ！使い方や日本語化方法をまとめてみたよ。 - enjoypclife.net
「Everything」新バージョンはさらに便利に使いやすくなった！ 「Everything」新バージョンは、ネットワークドライブの検索にも対応し、NASなどのファイル検索も容易に行えるように進化しています。 とにかく、1文字入力するごとにどんどん検索結果が表示されていく高速性は、一度味わうとやめられないはず！ Windows 7は勿論の事、Windows 8でもきちんと動作します。 個人的には、全ウィンドウズユーザー必携の素晴らしいフリーソフトだと思います。 Everythingのダウンロード Everythingのダウンロードはこちらから。 Download Everything 1.3.0.632b Beta for Windowsというのが、最新のベータバージョンです。 Everythingのインストール/設定/日本語化 Everythingのインストールは簡単なのですが、最初だけ
Trevni: A Column File Format
Version 0.1 DRAFT This document is the authoritative specification of a file format. Its intent is to permit compatible, independent implementations that read and/or write files in this format. IntroductionData sets are often described as a table composed of rows and columns. Each record in the dataset is considered a row, with each field of the record occupying a different column. Writing records
ファイル入出力の基本 (IO モデル) を勉強する - フリーフォーム フリークアウト
移転しました http://please-sleep.cou929.nu/20121103.html
RichCopyでフォルダをバックアップ／同期させる － ＠IT
ファイルのバックアップでは、2つのフォルダの内容を同期させるコマンドを利用するとよい。RichCopyはフォルダの同期機能をGUIで簡単に設定できる。アドバンスト・オプションを使うと、特定の拡張子のファイルのみコピーするなどが可能だ。 解説 サーバのバックアップやログの保存、個人的なデータのバックアップ、リモート・オフィス同士でのデータの同期など、2つのフォルダでファイルの内容などを同じ状態に保つ操作は、システム管理のさまざまな場面で必要になる。本TIPSでも、「xcopyでファイルをバックアップする」「SyncToyツールで手軽にバックアップを行う」「robocopyでフォルダをバックアップ／同期させる」といったさまざまな手法を紹介してきた。 特にrobocopyは、もともとはリモートのファイル・サーバ同士でフォルダを同期させるために作られたコマンドということもあり、使い勝手がよいものと
ユーザーごとに使用できるリソース制限をしたい
大勢のユーザーを抱えるサーバでは、システムリソースが1ユーザーによって占有されないよう管理する必要がある。PAMを利用すると、ユーザーごと、グループごとの制限をすることが可能だ。 # vi /etc/security/limits.conf * soft nofile 1024 * hard nofile 49152 * - maxlogin 3 上記の例は1行目で、すべてのユーザー「*」にソフトリミット「soft」、で読み込める最大ファイル数「nofile」を1024、最大限度「hard」では読み込める最大ファイル数「nofile」を49152ファイルに制限を意味する。 最後の行は、すべてのユーザーにおいて同時ログイン数を3に制限する設定だ。 また、次のような行を追加すると「enter」グループに属するユーザーについて、ほかのリソース属性を与えることができる。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
google/jimfs · GitHub - An in-memory file system for Java 7+
mkasa/ffton · GitHub - Fast File Transfer over NAT
GitHub - mfisk/filemap: File-Based Map-Reduce. Zero-install: easily use any collection of computers as a map-reduce cluster for command-line analytics.
ezcdb::cdb.5
The Design of A Big, Fast, and Persistent Queue - Abstraction Builder
Cloudera Blog
linux local system locks
http://1978th.net/tech/promenade.cgi?id=80
fsniper - Trac
mmap (メモリマップトファイル) : kei@sodan