GitHub - muesli/duf: Disk Usage/Free Utility - a better 'df' alternativeYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2020年1月10日 Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 | gihyo.jp
Linux Daily Topics 2020年1月10日Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 「Don't use ZFS. ―ZFSは使わない。その理由はシンプルだ。ZFSはこれまでずっと、バズワード以上の何物でもなく、そして実感するのだけど、例のライセンシング問題は僕にとってZFSを価値のない存在と思わせるだけだ」 1月6日、IT業界に特化したオンラインメディア「Real World Tech」のフォーラムで繰り広げられたあるスレッドにて、Linus TorvaldsはZFSをメインラインにマージする予定がないことをあらためて明確に主張している。 Do not blame anyone. Please give polite, constructive criticism By: Linus Torvalds -Real World Te
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
GitHub - osxfuse/osxfuse: FUSE extends macOS by adding support for user space file systems
macFUSE macFUSE allows you to extend macOS via third party file systems. About macFUSE The macFUSE software package provides multiple APIs for developing file systems for macOS 10.9 to macOS 14. You can use the provided APIs to develop numerous types of file systems, whose content can come from a local disk, from across the network, from memory, or any other source. One of these APIs is a superset
VirtualBoxのファイルシステムを10倍速くする ~ find編 ~ : DSAS開発者の部屋
もう、あって当たり前というところまで浸透してきた仮想環境、みなさまは何をお使いでしょうか? 私の周辺ではVirtualBoxがよく使われています。 典型的な使い方としては、 以下のような感じです。 ホストOSには、mac/windowsをつかう ゲストOSには、Linuxを使う 共有フォルダを使って、ホストとゲストでファイルを共有する その中でも地味に重要なのが共有フォルダ。 共有フォルダとは、ホストOSのファイルシステムをゲストOSからマウントするための、VirtualBoxが提供している仕組みです。 しかし便利な反面、ファイルアクセスが非常に遅いという声をよく聞きます。 findが終わらないとか、git statusが遅すぎるとか... この問題への対策を探してみると、下記のような物がみつかります。 vboxsfでなくNFSなど別のファイルシステムを使う VirtulaboxではなくV
Docker Desktop for Linux user manual | Docker Documentation
{ switch(e.key) { case 'k': if (e.metaKey || e.ctrlKey) { e.preventDefault() open = !open; if (open) { document.body.classList.add('overflow-hidden'); } else { document.body.classList.remove('overflow-hidden'); } } } }"> OverviewGet Docker Docker Desktop Overview Install MacUnderstand permission requirements for MacWindowsUnderstand permission requirements for WindowsLinux Installation per Linux d
ディレクトリを getdents(2) しつつ rename(2) を繰り返す実験 - hibomaの日記
kunst1080.hatenablog.com シンプルそうな問題でありながら、実は手強いネタで、 背後にいろんな理由が工夫やあるのだな〜と非常におもしろかったです. この手の調査では strace を取ってシステムコールを追いかけたくなる。find(1) が呼び出す getdents(2) がどんな風に動作するのか、あるいは mv、つまり、rename(2) と併用したケースなど 調べようとすらしたことなかったなと思い実験をした このエントリで取り扱うお題 getdents(2) で 1ディレクトリエントリずつ読み出して rename(2) していくと、ファイルシステムによってどんな違いがでるか? 先のブログで書かれていた find(1) + mv(1) あるいは readdir(3), fts_read(3) ではなく、システムコールを直接呼び出して実験する. コマンドやライブラリの
HDFSの現状と今後 (その1) - Qiita
まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Router based federation (2.9.0にもbackportされた) 3.1.0に入ることが確定した機能 (trunkにマージ済) Tiered storage 3.1.0に入るかわからない機能 (trunkにマージ前) Ozone: Object store for HDFS Erasure Coding JIRA: https://issues.apache.org/jira/
Dockerイメージの差分管理についてまとめてみた | TANKSUZUKI.COM
Dockerについて色々記事を書いてきましたが、裏側の動作については「上手いことやってくれてるんでしょ状態」だったので、ちゃんと調べてみることにしました。 この記事では、ファイルシステムまわりについてまとめています。 イメージは差分の集まり Dockerのイメージは複数のレイヤが重なって構成されています。 レイヤとは、 docker run でコンテナを立ち上げてから docker commit でイメージ化するまでの間に発生した、ファイルの差分のことです。 引用元： Docker Documentation 上の図で例えると、Debianのベースイメージを元に emacsを追加した Apacheを追加した という差分が重なることでイメージが構成されています。 差分の管理方法 DockerはAUFS等のファイルシステムを使って、差分イメージを実現しています。 AUFSについては こちらの解
FUSE - 覚えたら書く
FUSEとは Filesystem in Userspace (FUSE) は、Unix系オペレーティングシステムのローダブル・カーネル・モジュールの一種で、一般ユーザーがカーネルコードを修正することなく独自のファイルシステムを作成できる機能を提供します。 詳細は、Filesystem in Userspaceを参照。 FUSEのイメージは以下の通り（参照：Wikipedia） FUSE-API FUSEを使って構築するファイルシステムの各種ファイル操作は、FUSEのライブラリで提供される（fuse.hで定義される）以下の関数（FUSE-API）をオーバーライドすることで実現する。 No. 関数名 概要 関連付くシステムコール 備考 1 getattr Get file attributes. stat 2 readlink Read the target of a symbolic li
Btrfs has been deprecated in RHEL | Hacker News
People are making a bigger deal of this than it is. Since I left Red Hat in 2012 there hasn't been another engineer to pick up the work, and it is _a lot_ of work.For RHEL you are stuck on one kernel for an entire release. Every fix has to be backported from upstream, and the further from upstream you get the harder it is to do that work. Btrfs has to be rebased _every_ release. If moves too fast
Don't defer Close() on writable files
Update: Another approach suggested by the inimitable Ben Johnson has been added to the end of the post. Update 2: Discussion about fsync() added to the end of the post. It’s an idiom that quickly becomes rote to Go programmers: whenever you conjure up a value that implements the io.Closer interface, after checking for errors you immediately defer its Close() method. You see this most often when ma
第58回 APFS - Appleファイルシステム開発中 | gihyo.jp
APFS - Apple File System Appleは2016年6月13日から17日にかけて開催されたWWDC16において、新しいファイルシステム「APFS - Apple File System」を開発中であることを発表しました。この新しいファイルシステムはmacOS、tvOS、iOS、watchOSなど同社が開発しているプロダクトで共通的に利用するファイルシステムとされており、現在利用されているHFS+を置き換えるものと考えられています。開発は2014年にはじまり、2018年ごろを目処にプロダクトへの投入が予定されています。 公開された技術文書を読む限りでは、APFSはZFSからいくつかの機能や概念を抜いたものに似ています。ZFSからいくつかの機能を抜いて、基本的にAppleプロダクトで利用するフラッシュストレージを効率よく利用できる機能を追加したもの、といったような内容です。
ドワンゴがRustで分散ファイルシステムを作っているらしい
第2回 大量トラフィックを支えるインフラ～独自プロトコル，ファイルシステムの実装もいとわない！～ ドワンゴが分散ファイルシステムを作っているというニュースを見た. しかもRustで. ニュース以上のことも知りたくなったがツテがないし, あったとしても教えてくれるわけがないので外側から推測することにした. 実は分散ファイルシステムも独自に開発しました。もともと既存のオープンソースのファイルシステムを使っていたのですが，それだと期待する性能が出ないことがわかり，独自に調査開発を進めることにしました。 Rustという言語で，ガベージコレクションがなく，C++にメモリ安全性の機能を付加したようなものです。ニコニコの動画・生放送の配信基盤開発ではErlangを使うことが多いのですが，レイテンシを細かく制御したい分散ファイルシステムの分野では，どうしてもガベージコレクションが気になってきます。たしかに
ZFSの性能測定とチューニング
2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129.pdf ZFS <hrs@FreeBSD.org> / FreeBSD Project 2016/11/29 1 2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129.pdf ▶ ▶ ▶ ▶ ▶ ▶ 2 2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129.pdf ▶ ▶ ▶ ▶ ▶ ▶ 3 2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - lufia/taskfs
btrfs領域管理一代記
GoでFUSEを使ってGitHubのIssuesをマウントする - Qiita
Open Files Limit
kaihar4.com - OSXでファイルディスクリプタの上限をあげる