［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する ライター：西川善司 GDC 2023においてAMDは，ブース出展こそしなかったものの，会期4日めとなる2023年3月24日，同社製品や関連技術を紹介するセッションを数多く行った。AMD製CPUの「Ryzen」や，GPUの「Radeon」にまつわる内容が多い中，なぜかMicrosoftのストレージ高速化技術「DirectStorage」（関連リンク）の効果を検証する講演があったので，その内容をレポートしたい。 セッションタイトルは「DirectStorage〜Optimizing Load-Time and Streaming」だ。 David Ziman氏（Senior Member of Technical Staff） まずはDirectStorageが
AppleのmacOSカーネルに未解決の脆弱性、Google Project Zeroが情報公開
Google側が指定した90日の期限を過ぎても、Appleがパッチを提供しなかったとして、Project Zeroが脆弱性情報の公開に踏み切った。 AppleのmacOSカーネル「XNU」に脆弱性が見つかったとして、GoogleのProject Zeroチームが情報を公開した。Appleには2018年11月30日に連絡したが、Google側が指定した90日の期限を過ぎてもAppleがパッチを提供しなかったとして、2019年2月28日付で一方的に公開に踏み切った。 Google Project Zeroのページに掲載された情報によると、XNUに搭載されているコピーオンライト（COW）の機能に関連して、ユーザーが保有するファイルシステムイメージのマウント経由でCOWの挙動がバイパスされる脆弱性が存在する。 重要度は「高」に分類しており、この脆弱性について検証するためのコンセプト実証コードも公開
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
FUSEを使ってコマンドをファイルでラップする - tokibiブログ
少し前からFUSEに興味が湧いて色々作りたいものを考えていました。年末年始にある程度動くものができたので一旦まとめてみます。 github.com ちなみに数日前に同僚のharasouさんが cat するたびに内容が変わるファイル？を作った という記事を上げていて、内容がかなり被っているので二番煎じ感がすごいです。 何をするものか 大体GitHubのREADMEに書いていますが、以下のような設定ファイルをyamlで定義してnanafshiを使ってマウントすると、読み込んだり書き込んだりした時に内部でコマンドを実行するファイルが作成されます。 shell: /bin/bash services: - name: dir files: - name: example read: command: curl http://www.example.com/ - name: writable rea
s3fsよりも高速なgoofysが待望のContent-Type自動設定をサポート | DevelopersIO
西澤です。S3バケットを直接マウントして高速に使えるgoofysが待望のContent-Typeの自動設定をサポートしたとの情報を見つけたので、早速試してみることにしました。 kahing/goofys: a Filey System for Amazon S3 written in Go Use /etc/mime.types to set Content-Type accordingly · Issue #54 · kahing/goofys Content-Typeとは S3にオブジェクトを配置する際には、システムメタデータを設定することができます。S3のウェブホスティング機能を使ってWEB公開する場合、ブラウザは配置されたオブジェクトのContent−Typeを参照して挙動を変える為、WEB公開するオブジェクトには適切なContent−Typeを仕込んであげる必要があります。 AW
Microsoft removes 260 character limit for NTFS Path in new Windows 10 Insider Preview - MSPoweruser
The maximum length for a path (file name and its directory route) — also known as MAX_PATH — has been defined by 260 characters. But with the latest Windows 10 Insider preview, Microsoft is giving users the ability to increase the limit. The recent most Windows 10 preview is enabling users to change the 260 characters limit. As mentioned in the description, “Enabling NTFS long paths will allow man
FSF、LinuxとZFSと組み合わせはライセンス違反と指摘
Free software is a matter of liberty, not price, working together for free software. Free Software FoundationのRichard Stallman氏は4月11日(米国時間)、「Interpreting, enforcing and changing the GNU GPL, as applied to combining Linux and ZFS - Free Software Foundation - working together for free software」において、LinuxとZFSを組み合わせることにはライセンス上の問題が存在するという懸念を表明した。同氏はこの問題を解決する方法として、ZFSのライセンスをGPLv2以降のGPLまたはそれに類するライセンスに変更す
TechCrunch
Zelda fans already got a stellar new game with “Tears of the Kingdom” this year, but Nintendo just dropped another exciting nugget of news: the gaming giant is working on a live-action mov Lucid has revised its 2023 production outlook amid softening demand for luxury electric vehicles, the company said Tuesday in its third-quarter earnings report. The EV maker said it will produce 8,000
RAID-Zの読み込みのIOPSはなぜ低いのか
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 現在ftp.jaist.ac.jpはストレージの性能不足に悩まされています。ピーク時にストレージのI/Oが飽和して、スループットがやや低くなることがあります。ストレージは11本のHDDで組んだRAID-Z2を2組たばねて構成しています。読み込みのIOPSは、HDDが22本あるのに約600しか出ません。HDDのIOPSは約180出ているので、全体のIOPSはHDDの約3.6本分になります。 これはあくまでもキャッシュなしの性能です。読み込みのI/Oの98%はARCかL2ARCのいずれかにヒットするので、キャッシュ込みのIOPSは約30,000となります。最近はこれでも
HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
マイクロソフト、次世代ファイルシステムを開発|Windows Server|トピックス|Computerworld
マイクロソフト、次世代ファイルシステムを開発 Windows Server 8から新システム「ReFS」を実装 Microsoftは1月17日、同社の公式ブログにおいて、これからリリースされる「Windows Server 8」には「ReFS」と呼ばれる新しいファイルシステムが実装されることを明らかにした。この新システムにより、現行のWindows全エディションで利用されている「NTFS（New Technology File System）」が抱える多くの欠点が解消されるという。 Microsoft Windows担当プレジデントを務めるスティーブン・シノフスキー（Steven Sinofsky）氏は、「デスクトップおよびその他のバージョンのWindowsでも、NTFSを徐々に新ファイルシステムに置き換えていく」と同ブログ記事に記している。 「ReFSは、最小サイズのマシンから大規模デー
3. LVM（Logical Volume Manager）(第2章ディスク管理〜上級:基本管理コースII)
物理ボリュームの作成 物理ボリュームはパーティション単位で管理されます。したがって、1つのディスクを1パーティションとし1つの物理ボリュームとしても構わないし一部分だけをLVM用のパーティションとして確保して、1つの物理ボリュームとしても構いません。もちろん、1つのディスクを複数のパーティションに分割して、複数の物理ボリュームを作成することもできます。 次に物理ボリュームの作成方法を説明します。 LVM用のパーティションとするためには、最初に/sbin/fdiskを使用して、作成したパーティションのIDを0x8Eに設定します。 # /sbin/fdisk /dev/sdc コマンド (m でヘルプ): p Disk /dev/sdc: 1073 MB, 1073741824 bytes 64 heads, 32 sectors/track, 1024 cylinders Units = シ
【ハウツー】FreeBSD 9に新ジャーナル機能登場、fsck(8)高速化 (1) UFSの課題と発展 | エンタープライズ | マイコミジャーナル
FreeBSD - The Power To Serve 24日(協定世界時)、FreeBSD開発者であるJeff Roberson氏によって開発ブランチへある機能がマージされた。UFS2にジャーナリング機能を追加するコードだ。開発者の間ではSoft-Updates Journaling、またはSUJと呼ばれている。FreeBSD UFSでもっとも改善が望まれていた機能であり、FreeBSD 9の目玉機能になるとみられている。以降でその概要と実際の利用方法を紹介する。 UFSの課題と発展 これまでUNIX系のOSではUFS(UNIX File System)と呼ばれるファイルシステムがデフォルトで採用されてきた。ZFSなどの次世代ファイルシステムが普及しつつあるが、長い実績があるUFSを使いつづけるシステムも多い。BSD系OSでは今でもUFSがデフォルトのファイルシステムとして採用されてい
Cosmic っていうネットワークストレージを作り始めた - kazuhoのメモ置き場
GitHub - kazuho/cosmic: fail-safe management tools for network-based software RAID, using mdadm + iSCSI 概要 (というか近場の目標) は、以下のとおり。 fail-safe な network RAID 多重マウントが発生しないプロトコルを実装 RAID だから DRBD や MySQL の async replication のような lost updates 問題がない software RAID + NBD を使用 (NBD は遅いから iSCSI 対応するかも) RDBMS レベルのレプリケーションや DRBD と異なり、高可用性のあるブロックデバイスを提供するソフトウェアレイヤとして機能 様々なストレージミドルウェアを統一的に管理可能なので、管理コストが低い バックアップとかも
HDFSをマウントして利用してみる | kirie.net blog
GFS クローンの Hadoop Distributed File System (HDFS) をfuseを利用することでローカルにマウントし、直接操作できるファイルシステムとして使えるようなので試してみた。 参考はHadoopのサイトよりMounting HDFS。 今回は Ubuntu 9.04 ベースで、Hadoop はすでに別サーバで構築済みの環境で行っています。 Hadoopの構築については Hadoop/Hbase Clusterの構築 このあたりを参考にどうぞ。 １．必要ライブラリのインストール $ sudo apt-get install default-jdk ant $ sudu apt-get install automake autoconf libfuse-dev 完了です。 ２．Hadoopの取得とhdfs用ライブラリのコンパイル HDFSをマウントするためには
ZFSに「重複排除機能」が実装される | スラド
サン・マイクロシステムズのZFSに重複排除機能（dedupe：deduplication）が搭載されたとのこと（本家/.記事より）。 ZFSでは処理能力は要さないが効率の悪いファイル単位のdedupeではなく、高い処理能力を要するがバーチャルマシンイメージなどに適しているとされているブロック単位のdedupeが実装された。DedupeはSHA256ハッシュを使うとのことで、ZFSの256bitチェックサムとマップできるとのこと。マルチコアサーバなど処理能力の高いマルチスレッドOS上で走っていることを前提に、Dedupeはインラインで実行される仕様だそうだ。 仕様詳細やインプリ方法はJeff Bonwick氏のブログに掲載されているのでご確認を。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
beaker/archive-notice.md at master · beakerbrowser/beaker
Engadget | Technology News & Reviews
https://www.gazzang.com/
IBM Developer
