ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
列指向データベースのページのデータ構造 - ablog
行指向データベースは行単位でページ(Oracle Database でいうデータブロック)にデータを格納しているのに対して、列指向データベースは列ごとにページに格納している。クエリ実行時に結果セットを返す際に列別にバラバラのページに格納されているデータをどうやってタプル(レコード)に復元している*1のかと思ったがやはり行IDのようなものを持っているようだ。 行ID は C-Store では pid、MonetDB では BAT(Binary Association Tables) の oid と呼ばれている。 The Design and Implementation of Modern Column-Oriented Database Systems NSM(N-ary Storage Model): 行方向でブロック（ページ）にデータを格納する方式 DSM(Decomposition
Kernel Recipes 2015: Solving the Linux storage scalability bottlenecks
lash devices introduced a sudden shift in the performance profile of direct attached storage. With IOPS rates orders of magnitude higher than rotating storage, it became clear that Linux needed a re-design of its storage stack to properly support and get the most out of these new devices. This talk will detail the architecture of blk-mq, the redesign of the core of the Linux storage stack, and the
Azure Premium Storage: ハイ パフォーマンス用に設計する - Azure Virtual Machines
適用対象: ✔️ Linux VM ✔️ Windows VM ✔️ フレキシブル スケール セット ✔️ 均一スケール セット この記事では、Azure Premium Storage を使用して高パフォーマンスのアプリケーションを構築するためのガイドラインを示します。 このドキュメントで説明する手順は、アプリケーションで使用されているテクノロジに適用できるパフォーマンスのベスト プラクティスと組み合わせて使用できます。 ガイドラインを示すために、このドキュメント全体を通じて、Premium Storage で実行されている SQL Server を例として使用しています。 この記事では、ストレージ層のパフォーマンスのシナリオに対処していますが、アプリケーション層を最適化する必要があります。 たとえば、Premium Storage で SharePoint ファームをホストしている場合
Syncthing
The Syncthing Foundation stands for peace and with Ukraine! Read about what we're doing. Syncthing is a continuous file synchronization program. It synchronizes files between two or more computers in real time, safely protected from prying eyes. Your data is your data alone and you deserve to choose where it is stored, whether it is shared with some third party, and how it’s transmitted over the i
Design Tradeoffs for Data Deduplication Performance in Backup Workloads | USENIX
Min Fu, Dan Feng, and Yu Hua, Huazhong University of Science and Technology; Xubin He, Virginia Commonwealth University; Zuoning Chen, National Engineering Research Center for Parallel Computer; Wen Xia and Yucheng Zhang, Huazhong University of Science and Technology; Yujuan Tan, Chongqing University Data deduplication has become a standard component in modern backup systems. In order to understan
HPE、不揮発性メモリ搭載「ProLiant Gen9」サーバを発表--インテルの新チップも搭載
Danny Palmer （Special to ZDNET.com） 翻訳校正： 編集部 2016-04-01 10:50 Hewlett Packard Enterprise（HPE）は米国時間3月31日、停電時にもデータを保持できる「不揮発性メモリ」を搭載した新たなプラットフォームを発表した。通常のメモリと同じ速度で動作しつつ、機器への電力供給が絶たれてもデータを保持し続けられる記憶装置を搭載したサーバを実現する。 HPEの欧州・中東・アフリカ（EMEA）地域のProLiantサーバ担当マネージャーRichard Slyfield氏によると、パフォーマンスや復元性という観点から見た場合、このテクノロジには、PCIe接続のSSDといった既に利用可能な類似の永続的なメモリと比べると「極めて大きな利点」があるという。 HPEの不揮発性メモリ「HPE 8GB NVDIMM」（Non-Vola
『画像システムの車窓から』
2年半くらい画像システムを担当していたのですが、3月イッパイで異動することになりましたokzkです。 異動記念ということで、とりとめもなくエンジニアブログを書いてみます。長いです。よろしくお願いいたします。 画像システムのこれまでのストレージ事情最初にアメブロ(以下、単にブログ)のユーザ投稿画像関連でのストレージの歴史をアレコレをまとめてみようと思います。なお、以下swiftと書いたらOpenStack Swiftのことです。流行のプログラミング言語のことではありません。 はるか昔の状況昔は単純にWebDAVを複数台並べ、イッパイになったら更に次の世代のWebDAVを追加する、というような構成で、参照時に画像URLパスに含まれる年月ベースで適切な世代のWebDAVにルーティングしていました。 (参考:画像URLのパスの例) /user_images/20160401/00/shibuya/
不揮発性メモリが主役になる次世代マシン「The Machine」、エミュレータをオープンソースで公開。米ヒューレット・パッカード・エンタープライズ
不揮発性メモリが主役になる次世代マシン「The Machine」、エミュレータをオープンソースで公開。米ヒューレット・パッカード・エンタープライズ 米ヒューレット・パッカード・エンタープライズ（HPE）は、従来のコンピュータのアーキテクチャを一新した次世代マシン「The Machine」を開発中です。2020年には製品としてリリースするとしています。 従来のコンピュータは、プロセッサ、メモリ、ストレージを基本的なコンポーネントとしています。コンピュータの心臓部としてプロセッサが必要なのは当然として、メモリとストレージが必要なのは、現在メモリとして使われているDRAMは電源が切れるとその内容を失ってしまうため、電源が切れてもデータやプログラムを保存できる記憶装置としてストレージが必要になるためです。 「The Machine」では高速かつ大容量の次世代不揮発性メモリによりメモリとストレージを
Time Series Storage
Design and implementation of a time series storage engine.
Linuxでストライピング(RAID0)なソフトウェアRAIDを組んでいた際にデバイスが外れてしまった場合 - 元RX-7乗りの適当な日々
若手が(ry・・・シリーズ。次から他の人にやってほしいのでｗ 共有用のメモを残してしておきます。 Linuxのサーバで、ソフトウェアRAID(ストライピング)を組んでいたときに、片方のデバイスが不調で外れてしまったんだけど、デバイス内のデータは無事で、復旧(RAID0再構成)させたい場合のオペレーション。 ちなみに、たまたまなんだけど、ちょうど8年くらい前に似たようなエントリを書いていた。参考までに。 ソフトウェアRAIDのデグレード(縮退)モードからの復旧 - 元RX-7乗りの適当な日々 RAIDデバイスの確認と試行錯誤 外れてしまったデバイスは、問題なさそうってのは確認済み(本エントリでは割愛)で、あとは正常なRAIDデバイスに戻したいフェーズ、ってのが前提。 (自分が作ったサーバではないので、アレやコレやと確認しながら手探りになってしまっていますがｗ) # cat /proc/mds
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BossDB | Scalable volumetric database for the cloud
https://www.thomas-krenn.com/de/wikiDE/images/d/d0/Linux-storage-stack-diagram_v4.10.pdf
Apache Hadoop Distribution | MapR
分散ストレージソフトウェアCeph・アーキテクチャー概要
Access Characteristic Guided Read and Write Cost Regulation for Performance Improvement on Flash Memory | USENIX
Dynamic Provisioning of Storage Workloads | USENIX
Storage options - Xen
Ceph アーキテクチャ概説
Fusion-io, proud member of the SanDisk family.