FUSE経由でZFSを使う | OSDN Magazine
ZFSはSun Microsystemsによって作成された先進的なファイルシステムだが、Linuxカーネルではサポートされていない。しかしZFS_on_FUSEを利用すれば、Linuxカーネル上でもZFSをFUSEファイルシステムとして使用することができる。つまりLinuxカーネル上で利用可能な他のファイルシステムとまったく同様にZFSファイルシステムにアクセスできるようになる。 LinuxカーネルにZFSのサポートが統合されていない主な理由には、技術的/資金的な問題以外にも、SunがZFSをリリースしているCommon Development and Distribution LicenseがLinuxカーネルのGPLとは非互換だということがある。また特許の問題もある。とは言えZFSのソースコードは公開されており、またCDDLコードとGPLコードとをリンクするわけではないので、FUSE経
スケールアウトする分散ファイルシステム 計画 - VIVER
スケールアウトする分散ファイルシステム 計画 スケールアウトする分散ファイルシステムを設計中です。とりあえずはサーバー１台でも動作し、後からサーバーを足していくと、自動的に容量が増え、冗長化され、負荷分散されるというものを目指しています。LAN用に特化し、NFS+DRBDの置き換えを狙っています。 まえがき 今や、Webサーバーいくらでも冗長化や負荷分散ができるようです。メモリを足す、HDDを足す、と同じ感覚で、サーバーを足す、というのが成り立つのではないでしょうか。（この点に関してはDSAS開発者の部屋全体、特に「DSASのあれこれ」の資料を公開しますやこんなに簡単！ Linuxでロードバランサ シリーズが非常に参考になります） しかしストレージはどうでしょうか。ストレージの冗長化や負荷分散にも、DRBDを始めとしていろいろなソフトウェアが開発されていますが、「スケールアウトするか」「
Main Page - GlusterDocumentation
GlusterFS GlusterFS is a clustered file-system capable of scaling to several peta-bytes. It aggregates various storage bricks over Infiniband RDMA or TCP/IP interconnect into one large parallel network file system. GlusterFS is based on a stackable user space design without compromising performance. Click here to read more... GlusterSP Gluster Storage Platform is a software appliance to create c
Windowsでジャンクション機能を使ってフォルダをマウントする
対象OS：Windows 2000 ／ Windows XP ／ Windows Vista ／ Windows Server 2003 ／ Windows Server 2008 解説 TIPS「ジャンクション機能を使ってディスク・ボリュームをマウントする」では、ジャンクション機能を使ってディスクのボリュームを（NTFS上の）任意のフォルダにマウントする方法を紹介した。この機能を利用すると、例えばC:\MNTフォルダの下に、D:\やE:\DATAといった別のボリューム（ドライブのルート）を「マウントする（ぶら下げる）」ことができる。ディスクの空き容量が不足した場合などに、特定のフォルダの下に別のボリュームを追加すれば、ディスク・フルになることを回避可能だ。 ジャンクション機能では、ボリュームだけでなく、フォルダもマウントできる。ただし上記のTIPSの方法ではフォルダをマウントすることはで
On File Systems
(http://www.kev009.com/wp/2008/11/on-file-systems/) 訳した。分からなかったところは英語のまま。ファイルシステムについて完全な素人なので変な所があるかも。 Introduction(前置き)ファイルシステムはOSの重要な要素だが最近ではあまり関心を払われていない。ビットが入ってきてビットがでていく……デスクトップシステムにとっては、たいてい十分に働いてくれる……ただし、電源が落ちるまでは。しかし、そんな状況ですら近頃ではあまり困ったことにはならない。 Linuxのファイルシステムの分野には競合製品が多い。ext2が長い間標準とされてきたが、2001年辺りから他の選択肢も主流となった。あまり歴史に深入りせずに要約すると(順番は適当)、ext2が進化してext3となり、ジャーナリング機能が付いた。ReiserFSがリリースされた。SGIはXFS
drbd.conf
ストレージには寿命があり、保存された情報は永遠に正常性を保証されるわけではありません。その為に別のストレージにデータをバックアップしたり、ストレージそのものを多重化してデータを保護することが重要です。今回紹介するは、ストレージデバイスを多重化し、データを複数のストレージに保存する仕組みで、DRBD(Distributed Replicated Block Device)と呼ばれているものです。同様の仕組みにソフトウェア／ハードウェアRAIDがあります。 DRBD(Distributed Replicated Block Device)とは、TCP/IPネットワークを通じて複数のサーバのストレージ（パーティション）をリアルタイムにミラーリング（複製）するソフトウェアです。RAID1のようなミラーディスクを構築することができます。ソフトウェア／ハードウェアRAIDは同じサーバ内のストレージを使
findでファイル検索入門 - builder by ZDNet Japan
意外と知られていないようだが、"find"はLinuxに含まれている珠玉のツールだ。findでは、名前やファイルサイズ、更新日など多数の条件でファイルを検索することができる。findを用いることで、今まで時間をかけて手作業で探さなければならなかったファイルを、簡単に検索できるようになるだろう。 最も単純な使い方から説明しよう。findを用いてシステム内にあるすべてのファイルを表示するには、以下のように入力する。 $ find / このように入力すると、すべてのファイルの一覧が表示される。特定のファイル名で検索したい場合には、次のように行う。 $ find / -name passwd /usr/bin/passwd /usr/sbin/passwd ... また、passwdという名前で、かつパーミッションが0700のファイルを検索したい場合は、次のように入力すればよい。 $ find /
Linuxは1ディレクトリに大体ファイル数を 1万ファイル位（まあ大体5000ファイルでやめたほうが無難かな？…
Linuxは1ディレクトリに大体ファイル数を 1万ファイル位（まあ大体5000ファイルでやめたほうが無難かな？） 溜め込めると聞いたのですが 1ディレクトリ内のディレクトリ数の制限はあるのでしょうか？ 今、1ディレクトリ内に大体800ディレクトリ作成しようと 思っているのですが、大丈夫でしょうか？
C言語: UNIX最速ファイルコピー
Created: Kazuki Ohta, 2006/06/14 Last Update: Kazuki Ohta, 2006/06/14 「write(2)の正しい使い方」と同じく、OS演習でやった事の延長線の記事を書いてみる。お題は「UNIX上で大規模ファイルを最速でコピーする方法」だ。一般的に、UNIXでファイルをcopyする際には以下のような方法が有る。 read -> write read -> write with posix_fadvice mmap -> mmap -> memcpy -> fsync mmap -> mmap -> memcpy -> fsync with madvise mmap -> write mmap -> write with madvise read, write, mmap辺りは良いとして、posix_fadviseというシステムコールが有
最速cp on UNIX Systems - moratorium
ふとしたきっかけで、UNIX上における「最速cp」をやってみようと思い、いくつかの方法を実装してみた。 read -> write read -> write with posix_fadvice mmap -> mmap -> memcpy -> fsync mmap -> mmap -> memcpy -> fsync with madvise mmap -> mmap -> memcpy -> munmap mmap -> mmap -> memcpy -> munmap with madvise mmap -> write mmap -> write with madvise ソース ソース 環境 Linux ubuntu 2.6.12-10-686 #1 Sat Mar 11 16:22:51 UTC 2006 i686 GNU/Linux glibc 2.3.5-1ubuntu
仙石浩明の日記: NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する
ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サーバの性能。 多数のディスクレスサーバを賄え、かつ高信頼な NAS サーバとなると、 どうしても高価なものになりがちであり、 NAS サーバ本体の価格もさることながら、 ディスクが壊れたときの交換体制などの保守運用費用も高くつく。 それでも、多数のハードディスク内蔵サーバ (つまり一般的なサーバ) を 運用して各サーバのディスクを日々交換し続ける (運用台数が多くなると、 毎週のようにどこかのディスクが壊れると言っても過言ではない) よりは、 ディスクを一ヶ所の NAS にまとめたほうがまだ安い、 というわけで NAS/SAN へのシフトは今後も進むだろう。 そもそも CPU やメモリなどとハードディスクとでは、 故障率のケタが違うのだから
MogileFSの利用と高速化 » SlideShare
MogileFS+Perlbalな運用形態におけるX-REPROXY-URLの活用と、X-REPROX-CACHE-FORを使ったサーバレスポンスの高速化、サーバの負荷軽減についてRead less
ウノウラボ Unoh Labs: DRBDによるコンテンツの相互バックアップ
こんにちは satoです。 DRBDは誤解を恐れないで、簡単に言ってしまうと、ネットワーク越しにRAID1を構築できるオープンソースのソフトウェアです。 DRBDには以下の特徴があります。 ・カーネルモジュールで動作し、有償でサポートが受けられます ・電源等が壊れても、ソフトウェアRAIDやPICカード型のRAIDと違ってサービスを続けることができます ・heartbeat等と組み合わせて、HAなシステムを構築できます ・secondary(slave、待機系)はマウントすることができません。 DRBDの設定から使用までを簡単に解説しようと思います。また待機系が必要なのですが、待機だけではもったいないので、相互に違う領域をバックアップ(s1のsda3のバックアップ先は s2のsda3、s2のsda4のバックアップ先はs1のsda4)をしてみました。 構成 s1.unoh.n
WindowsでLinuxパーティションを読み書きするには（Ext2Fsd編） － ＠IT
WindowsでLinuxパーティションを読み書きするにはで紹介したExplore2fsを使えば、WindowsからLinuxのパーティション（ext2やext3）にアクセスできる。しかし、Explore2fs以外のWindowsアプリケーションからは、Linuxパーティション上にあるファイルを読み書きできない。 今回紹介するExt2Fsd（http://www.ext2fsd.com/）は、Linuxのパーティション（ext2やext3）へのアクセスを実現するWindows NT／2000／XP用のドライバである。Ext2Fsdをインストールすると、Linuxのパーティションに対してドライブ文字を割り当て、Windowsから自由にアクセス可能となる。 Ext2Fsdは、インストーラと一体になったEXEファイルとZIPで圧縮されたバイナリ一式（インストールはバッチファイルで行う）の2つの形
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
ほえほえ LinuxファイルI/Oチューニング
Linuxは私の使っている範囲ではファイルI/Oがパフォーマンスボトルネックになっていることが多い。で、チューニングの情報を集めてみるのだが、なかなか役立つ情報を入手できない。 決まって全般的なチューニングの進め方について述べ、次にボトルネックの調べ方について述べる。 最後にチューニングパラメータ設定手順のヒントだけを非常に簡単に挙げておわってしまう。いや、どこがボトルネックなのか最初に一発で分かればいいよ？ でも全般的なチューニングの進め方でそうしたドキュメントが述べている通り、色々な可能性を繰り返しチューニングしながらつぶしていかなきゃいけないんだよね。 そのためには具体的なチューニングパラメータの設定手順がなきゃできないんだよね。それを教えろよ！それを！ ということで、今回はLinuxファイルI/Oチューニングについて調べた。大きなファイルの書き込み(ex. cpコマンド)を行うと、
E2fsprogs: Ext2 Filesystem Utilities
This is the home page for the e2fsprogs package. It provides the filesystem utilities for use with the ext2 filesystem. It also supports the ext3 and ext4 filesystems. The e2fsprogs Sourceforge summary page can be found here. For more information about the ext2 filesystem, click here. The latest development sources for e2fsprogs is maintained in a Git repository at git://git.kernel.org/pub/scm/fs/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
[ThinkIT] 第2回：3つのファイルサーバ「NFS & FTP & Samba」 (1/4)
ファイル名の文字コードを変換するには