FizzBuzz.txt(8エクサバイト)
FizzBuzzFS FizzBuzz問題といえば定期的にSNSで話題になっては変な解法が発明されることでおなじみですが(?)、ファイルシステムを使った事例が見当たらなかったのでやってみました。 まあ見ての通りというか…… /mnt/FizzBuzz に FizzBuzz.txt(8エクサバイト)があって、FizzBuzzが書いてあります。 どこまでも…… 容量の続く限り…… 以上！！！！！！！ 技術解説 FUSE FUSE(Filesystem in USEr space)というソフトウェアを使うことで、簡単に新しいファイルシステムを実装することが可能です。 Rustにおいては、fuse crateの更新が停止した結果フォークが複数存在するようですが、利用者数と更新頻度的にfuser crateを使うのがよさそうです。 FileSystem traitが実装された値をmount2関数に渡
Linux でのハングタスクについて - 赤帽エンジニアブログ
Red Hat でコンサルタントをしている菅原と申します。 この記事では、意外とあまり説明されていないような気がする Linux システムで発生するハングタスクについて少し説明したいと思います。現場のシステムでもハングタスク検知の設定がされていることが多いと思いますが、ハングタスクとは何なのかを正しくご理解いただくことで、ハングタスク検知を行う目的が明確になること、また、実際の障害事例もご紹介することで、通常あまりハングタスクと関連づけて考えないような設定でもハングタスク発生につながる場合があることを知っていただき、少しでもシステム管理や障害の理解、障害対応などのお役に立てれば幸いです。 なお、この記事では RHEL のみを対象に書いていますが、他の Linux ディストリビューションにも適用される内容と思います。 ハングタスク (hung tasks) とは ハングタスクとは読んで字のご
FAT32ファイルシステム読解
1. はじめに FAT32 ファイルシステムを実装する必要があった (趣味) ため、本記事では FAT ファイルシステム (メインはFAT32) の仕様を出来るだけ分かり易くまとめました。 なぜ FAT32 なのか？ 全てのOS (Windows, Linux, MacOS) や Raspberry Pi4 のブート用ファイルシステムでもサポートされおり、非常に使い勝手が良い 少なくともファイルのリード操作だけに限定した場合に実装がとても簡単で、Raspberry Pi4 のデバイスで SD カード上のファイルにリードアクセスする場合に便利 ただし、FAT は暗号系の機能がサポートされていなかったりするので、実際の組み込み機器の Linux 系で利用するファイルシステムだと Ext2/Ext3/Ext4 など他のファイルシステムの利用が多いとは思います。 2. FATファイルシステム概要
低レベルアクセスへの入り口（1）：io.Writer
今回は、Go言語がOS直上の低レイヤーを扱いやすくするために提供している io.Writer インタフェースの紹介をします。Go言語がシステムプログラミングを簡単に行える言語でありつつも、それなりに少ない記述量で比較的高速で、それでいて多くのことが達成できるのは、これから説明するようなインタフェースにより、低レイヤーが扱いやすい構造になっているからです。インタフェースと、インタフェースに対して提供されるさまざまなサービス関数が、Go言語の安い、早い、うまいの秘密です。 io.WriterはOSが持つファイルのシステムコールの相似形 前回の記事では "Hello World!" プログラムの関数呼び出しをデバッガーでたどり、最後にシステムコール syscall.Write() が呼び出されているようすを見ました。OSでは、このシステムコールを、ファイルディスクリプタと呼ばれるものに対して呼び
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
なぜWindowsはまだNTFSを使っているのでしょうか？なぜフラグメンテーションが起きにくいLinuxのext4ではないのでしょうか？
回答 (3件中の1件目) NTFSも一応フラグメンテーションが起きにくいようには作られています。今のext4 FSに比べるとフラグメンテーションし易いですが、フラグメンテーションだけがファイルシステム性能や機能の指標ではないです。 わざわざ使う必要がないユーザーが多いかも知れませんが、e4defrag（ファイルのフラグメンテーションを直すツール）やe2freefrag（ext4もフリースペースのフラグメンテーションを防止できないのでその状況を知る為のツール）といったフラグメンテーション対策ツールがext4用に提供されています。ext4もフラグメンテーションを起こすので結局は運用にデフラ...
Rewriting the heart of our sync engine
Over the past four years, we've been working hard on rebuilding our desktop client's sync engine from scratch. The sync engine is the magic behind the Dropbox folder on your desktop computer, and it's one of the oldest and most important pieces of code at Dropbox. We're proud to announce today that we've shipped this new sync engine (codenamed "Nucleus") to all Dropbox users. Rewriting the sync en
機能の一時停止
この機能の使用ペースが早過ぎるため、機能の使用が一時的にブロックされました。 コミュニティ規定に違反していないと思われる場合は、Facebookにお知らせください。
［速報］Windows上でフル互換のLinuxシステムコールを実現する「WSL 2」発表、Dockerも実行可能に。Microsoft Build 2019
マイクロソフトはWindows上でLinux互換機能を提供するWindows Subsystem for Linux（WSL）の次期版となる「WSL 2」を発表しました。 WSL 2には、最初からWSL 2に最適化されたLinuxカーネルが含まれており、フル互換のLinuxシステムコールを実現。またファイルシステム性能は最大20倍もの劇的な向上も実現しているとのことです。 これによりWSL 2上ではDockerも実行可能だとされています。「Announcing WSL 2」から引用します。 Now that WSL 2 includes its own Linux kernel it has full system call compatibility. This introduces a whole new set of apps that you can run inside of W
ゲーム向けファイルシステムの設計の難しさ - .mjtの日記復帰計画
ゲーム向けのファイルシステム抽象化は近年超クッソ激烈に複雑化しており、大分手を付けられない問題になってきた。 ゲーム配布/ストレージ様式の変化 ...とにかく歴史的に様々な方式が使用されている。例えば、ゲームを発売後パッチするにはHDDやSSDのようなFSを持った大容量ストレージが必要になるが、それが可能になったのは2001年以降(PS B.B. Unitやoriginal Xboxなどの登場以後)と言える。(サテラビュー('95)やDreamcast('98)のようなプラットフォームでもDLCの類は存在したがゲームの不具合修正をpost releaseで行う目的には使えなかった。) PS4ではプログレッシブダウンロード(ゲームを複数セグメントに分割し、一部のダウンロードが完了した段階で起動許可)をサポートしているが、導入自体はPS3版The Last of Usの方が早い( https:
ext4 ファイルシステムのオーバーヘッドを厳密に理解する - とあるSIerの憂鬱
ファイルシステムを作成すると、ファイルシステム自体の管理領域などのため、ファイルシステムを作成するデバイス・ボリュームの容量を100%使えるようにはならない。 では何パーセントが減ってしまうのか。10%あれば大丈夫なのか、3%程度でもよいのか、厳密には決まらないのか、そんな疑問・不安を取り除くために検証および論理的な裏取りを行った。 検証環境は CentOS 6.4 (x86_64) で、ファイルシステムは ext4 である。なお、ブロックサイズは 4KB を前提にする。CentOS 7 (RHEL 7) でも考え方は同じだが、計算の元になる基礎値に差があるため注意が必要(「その他」にて触れる)。 検証結果 128M, 256M, 512M, 1024M, 1.5G, 2G, ・・・ と20GまでのLVを作成し、実際にファイルシステムを作成。マウントした際の df -k の Availab
fio でLinuxからストレージのベンチマーク測定 | Check!Site
記事投稿者：山下 晴規 記事公開日：2013/04/23 最終更新日：2013/04/23 （この記事は約1年以上経過しています。） ディスクI/Oのベンチマーク測定ツール「fio」を使って、Linux上でストレージのパフォーマンス測定を行ってみました。fioは様々な測定が出来るツールであり、深く使いこなすにはディスク周りに関する知識も求められるツールだと思います。ここでは、fioの簡単な使い方までを中心に記載しておきたいと思います。 fio 情報 ディスクI/Oを計測するベンチマーク測定ツールです。以下の特徴を持つ、すぐれたツールだと思います。 シーケンシャル Read/Write、ランダム Read/Write が測定可能 IOPS（Input/Output Per Second 1秒間に読み込み/書き込み出来る回数）を測定可能 ファイルサイズの指定や、IOエンジンの指定など、様々なベ
GlusterFSとZFSを組み合わせるには
GlusterFSとZFSを組み合わせて使うのに、一悶着あったので、書き残しておきます。 何かを見落としていなければ、かなりの冒険が必要のようです。 ■結論（持ち越し） ・ZFSとGlusterFSは、そのままでは組み合わせ不可能（ZFSがxattrに対応してないから） ・ZVOLを作ってUFSフォーマットしてマウントすれば使えるが… えー、それマジっすか？ ・ソリューション選択で何とかならないかなぁ。 FreeBSD＋ZFS(ZVOL)＋UFS＋GlusterFS CentOS+ZFS-FUSE(ZVOL)+XFS＋GlusterFS CentOS+mhddfs＋XFS＋GlusterFS（そもそもZFS無くても良くね？ と思ってきた） ■GlusterFSとZFSの併用について GlusterFSはディレクトリを束ねるソリューションであって、ストレージの挙動には関与しません。データの中
『【研究課題レポート抜粋】各無償OSにおけるFSとMySQLの性能』
これは第1回研究課題(2008年前半期)におけるDaikoku氏のレポート「Linux，OpenSoralis，FreeBSDの各ファイルシステムにおけるMySQLの性能評価」からの抜粋です。当時の環境、状況における結果の有用性から、最優秀賞を受賞しました。 1. はじめに これまでは，Linux上でMySQLを利用することが多かったが，昨今，他のOSもオープン化や利便性向上，新しいファイルシステムへの取り組み等，注目すべき点がある．本稿では，IAサーバにLinux，OpenSolaris，FreeBSDをインストールし，MySQLを稼動させ特徴や性能の評価を行う． 2. ファイルシステムについて 現在のところ，アメーバで利用しているMySQLはext3を利用している．その他の主なファイルシステムとしては，下表のようなものがある． 本稿では，特に実用性が高いと思われるext3，UFS2（以
ループバックデバイスでイメージファイルをマウント - メモ帳
10MB のファイルを作成。 root@ru:~# dd if=/dev/zero of=disk bs=1M count=10 10+0 records in 10+0 records out 10485760 bytes (10 MB) copied, 0.0160953 seconds, 651 MB/sext3 でファイルシステム作成。 root@ru:~# mkfs.ext3 -b 4096 -i 8192 mke2fs 1.40.2 (12-Jul-2007) disk is not a block special device. Proceed anyway? (y,n) y Filesystem label= OS type: Linux Block size=4096 (log=2) Fragment size=4096 (log=2) 1280 inodes, 2560
スタッフブログ - ビットスター株式会社
2024.03.01 記憶 By KeI 2024.02.28 3500円の海鮮丼 By kogt 2024.02.26 白い妖怪ぱーく展を見てきた話 By 毛焼坂 2024.02.21 ピンチⅡ By 勇者ああああ 2024.02.19 最近、導入したサブスクの話 By キタサン 2024.02.16 ゴールデンカムイは最高って話 By sawara 2024.02.15 2月14日は何の日？シリーズ第3弾！ By Moon 2024.02.09 たまには身体を動かそう By hik 2024.02.07 展覧会 By ra-men 2024.02.05 老舗韓国冷麺のすゝめ By よねたみ 2024.02.02 38歳に「僕が大人になる」と言われた話 By 弦 2024.01.31 少年少女へのネット普及ってすごいし怖い By むったん 2024.01.29 会社より10倍快適なNW環
雨降って地固まり、geom mirrorが壊れてZFSを導入する : 404 Blog Not Found
2008年09月07日19:00 カテゴリiTech 雨降って地固まり、geom mirrorが壊れてZFSを導入する 今週は泣きっ面に蜂であった。 月曜日に(固定)電話が壊れ 火曜日にプリンターが壊れ.... という感じでいろいろなモノの寿命が尽きて、ついに 金曜日にファイルサーバーが壊れ と相成った。 しかし、こういう時こそものごとを非線形によくするチャンスである。転んでタダで起きるのは弾ではない。特に他は待てるが、ファイルサーバーは待てない。他の直しでもちょっとした発見があったのだが、まずはファイルサーバーの修復、というより大刷新について書いておきたい。 といっても、サーバーをまるごと新調したわけではない。交換したのはディスク、そしてファイルシステム。 Before FreeBSD 6-STABLE SATA 250GB x 4 RAID1 by geom (gmirror) UFS
サン・マイクロシステムズ
日本のオラクル・コミュニティが一堂に会するプレミア・イベントにぜひご参加ください。新しいスキルを身に付け、業界エキスパートと交流し、複雑なビジネス課題を解決するためのソリューションを発見しましょう。
ディスク入れ替え予行演習(ZFS) - 彷徨えるフジワラ
自宅サーバの OpenSolaris 化に向けて、ディスク入れ替えの予行演習を VMWare の上で実施してみたら一発では上手いこと行かなかったので、備忘録がわりにメモなどを。 予行演習の段取りとしては: 同一容量のディスクによる入れ替え ⇒ 入れ替え手順そのものの確認 容量の大きなディスクによる入れ替え ⇒ 領域拡張手順の確認 といった感じで進める方向で、まずは同一容量のディスクによる入れ替えを。 手順的には、OpenSolaris の日本語MLでの"システムDISK交 換"に関するスレッドから辿れる情報通りに進めれば良いのだけれど、Solaris のディスク管理なんて21世紀になってからとんとご無沙汰なので、確認がてらディスク管理のマニュアルなどを読んでみることに。 すると、ディスクラベルのコピーを非対話的に実施する方法が: prtvtoc /dev/rdsk/コピー元ディスク | f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ