『画像システムの車窓から』
2年半くらい画像システムを担当していたのですが、3月イッパイで異動することになりましたokzkです。 異動記念ということで、とりとめもなくエンジニアブログを書いてみます。長いです。よろしくお願いいたします。 画像システムのこれまでのストレージ事情最初にアメブロ(以下、単にブログ)のユーザ投稿画像関連でのストレージの歴史をアレコレをまとめてみようと思います。なお、以下swiftと書いたらOpenStack Swiftのことです。流行のプログラミング言語のことではありません。 はるか昔の状況昔は単純にWebDAVを複数台並べ、イッパイになったら更に次の世代のWebDAVを追加する、というような構成で、参照時に画像URLパスに含まれる年月ベースで適切な世代のWebDAVにルーティングしていました。 (参考:画像URLのパスの例) /user_images/20160401/00/shibuya/
「ディスクの信頼性を下げてよい」 GoogleがHDD業界にクラウド時代の提案 - クラウド Watch
ニュース 「ディスクの信頼性を下げてよい」 GoogleがHDD業界にクラウド時代の提案 （2016/3/7 09:41） 次へ 需要爆発でコストが膨らむ 1 2 3 「データ損失の可能性が高くなってもよいので、キャパシティとシステムの性能にフォーカスしたディスクを」。巨大なデータセンターを世界で運用するGoogleが、こんな要望をブログに綴った。クラウド時代に合う新しいアプローチが必要というが、いったいどんなものか？ この変わった要望にハードウェアベンダーは応じられるのだろうか？ ディスクをグループ化してパフォーマンス改善 「Googleはデータセンター向けの新しいディスクを求める」。Googleのクラウド事業「Google Cloud Platform」の公式ブログが2月23日付で、こう題したエントリーを公開した。同時期に開催されていたイベント「2016 USENIX conferen
TechCrunch
French health tech brand Withings has been around the block and some. These days it offers a range of fitness wearables and monitors. It was also an early mover in smart scales and is continuing to pu DNA testing and genealogy companies are stepping up user account security by mandating the use of two-factor authentication, following the theft of millions of user records from DNA genetic testing g
並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
米新興企業Crossbar、フラッシュメモリの後継技術を発表
米カリフォルニアの新興企業Crossbarは米国時間8月5日、抵抗変化型メモリ、すなわちReRAM製品を発表した。同社の不揮発性メモリ技術により、いくつかの技術的進歩がもたらされることが期待されている。 単一チップ上に最大1テラバイトのストレージを実装 シンプルな3Dスタッキング構造で数テラバイトのストレージに対応 超低電力によるバッテリ持続時間の改善 対NANDフラッシュ比20倍の高速書き込み CMOS製造プロセスとの互換性により、低コスト製造が可能 現行フラッシュメモリの半分のダイサイズ 最も重要な点は、そのシンプルな電気的構造にある。同ReRAM製品は、上部電極、スイッチング媒体、下部電極の3層構造で、シリコンをベースとした材料が使われている。 極間に電圧を印加することで両極間にフィラメントが形成され、ここにデータが保持される仕組みになっている。フィラメントは10ナノメートル級の微細
データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を起こしてしまったためです。移転作業自体はスケジュール通り進行し、6 月第二週に完了しています。障害に関しては、こちら（PDF）でお詫びとご報告をしていますが、この記事では技術面ならびに障害を引き起こすにいたった背景について詳述します。 移転に至った背景 移転方式の検討 ストレージ同期の方法 DRBD による同期の詳細 まずは自社環境を移転、成功 そして障害は発生した なぜ障害につながったのか まとめ 移転に至った背景 まず、なぜデータセンターを移転することにしたかを説明します。 端的に言うと、当時のデータセンターが手狭になり拡張
“第3のメモリー”の衝撃、ストレージとDBが一変する
出典：日経コンピュータ 2012年12月20日号 pp.70-77 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 2012年、DRAMでもフラッシュメモリーでもない“第3のメモリー”の量産出荷が始まった。DRAM並みに高速でありながら、フラッシュ同様に電源をオフにしてもデータが消えない「新世代不揮発性メモリー」だ。新メモリーによってコンピュータのアーキテクチャーは激変し、入出力（I/O）の大幅な高速化が実現すると共に、消費電力は激減する。 コンピュータには、高速だが電源をオフにするとデータが消える「主記憶装置（メインメモリー）」と、低速だがデータが消えない「外部記憶装置（ストレージ）」という2種類の記憶装置がある。 こんなコンピュータアーキテクチャーの常識が一変する可能性が出てきた。DRAM並みに高速でありながら不揮発性を備えた「新世代不揮発性メモリー」の量産出荷が始
ディスクとRAIDの知識 RAID10のすすめ
電話 03-6410-6070、FAX 03-6410-6073 ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用) 導入事例 | 構成例 | ベンチ | 計算機 | ファイル/管理サーバ | 構築費用 | OS/開発環境 | アプリケーション | オプション | 購入 | 設定/納入 | サポート | 保守 | Q&A | 基礎情報 無停止運用 + メンテナンスフリーを求められる HPC分野の巨大ストレージ 計算機の発達により巨大ストレージが随所で求められるようになりました。この巨大ストレージでは容量の大きさだけでなく品質も重視されます。巨大なストレージを手作業でメンテナンスすることは難しいからです。メンテナンスフリーに近くしかも無停止運用に近い巨大ストレージが廉価に求められていま
Glacierで思い出よ永遠に。 - サーバーワークスエンジニアブログ
みなさんこんにちは、ストレージはハードで持ちたくない羽柴です。 早速ですがみなさん個人でのストレージってどうしてますか？ 私は一部NASはありますが、基本的にはS3を利用しています。 ただ最近、S＊NY製のビデオカメラを買ってしまったことで徐々に動画ファイルが多くなり、持っているHDDレコーダーもSO＊Y製のためレコーダーへの転送は超簡単なのですが、HDDを信用していない私としては動画ファイルもS3にあげようかと思っていたところで、動画ファイルは容量が結構あるためS3の料金もさすがに不安になってくるなぁと思っていました。 そうだ Glacier に入れておけばいいか。 Glacierは Amazon Web Services社 が提供する低価格ストレージサービスです。高い耐久性と低コストが特徴であり、取り出しに４時間程度かかることから長期におけるデータのアーカイブ・バックアップに適していま
Needle in a haystack: efficient storage of billions of photos
Facebookにログインして、友達や家族と写真や近況をシェアしましょう。
OCFS2を使った共有storage
SAS共有 storage 最近、SASで複数台接続できる disk storage 製品がでています。 Dell PowerVault MD3200/MD3220 IBM System Storage DS3500 このあたりの機種だと4台をSASで直結できるため、 小規模なPC cluster(≤8 node)であれば SAN switch なしで安価に高性能な共有 storage を構成することができます。 また、それ以上の台数になる場合にはSAS switch (LSI 6160など) 経由で接続することができます。 安価な PC に NFS serverをやらせるのもありですが、こういった storage 製品の上にOCFS2やGFS2を載せて /home を共有して使うというのも良いでしょう。 この手の storage 製品は複数の論理 drive を作ることができ、 root
自分専用の“DropBox”を作れる ownCloud
ジャンル：ストレージサーバー構築ソフト ライセンス：GNU AGPL version 3 作者：Frank Karlitschek氏 URL：http://ownCloud.org/ ownCloudは、クラウドサービスである「DropBox」のようなストレージ管理サーバーを構築するためのソフトである。SSLを使った暗号化通信に対応しているため、インターネット経由で利用することも可能だ。 オンラインストレージサービスを提供するサーバーを構築できる（写真1）。ファイルのアップロードやダウンロードは、基本的にWebブラウザを使う。WebDAVにも対応しているので、ファイルマネージャ「Nautilus」からアクセスすることも可能だ。
ポート・マルチプライヤで大容量ストレージを構築する（１）
ポート・マルチプライヤ(PMP:Port Multiplier)を使って大容量ストレージを構築・運用する方法を解説します。 写真は、HighPoint社のRAIDカード RocketRAID 2310(以下、RR2310)です。PCI Express x4の4ch SATA2 RAIDコントローラですが、メーカページを見てもPMPに関する記述はありません。しかし、外付けeSATA 4ポートのRocketRAID 2314(以下、RR2314)のページには、Port Multiplier (PM) ready up to 20 Drives という記述があります。RR2310とRR2314の基板写真を見る限り、同じ構成に見えますし、RR23XXは、ファームも共通のようです。ですから、RR2310でもPMPが使える可能性があります。（追記：問題なく使えます。） PMPが使えると何が嬉しいのでし
RHEL ストレージ関連のエントリーまとめ
■仮想環境を使って簡単にRHEL6のiscsiマルチパスを検証する RHEL6でiscsiマルチパスを検証するためのHow to。実際に動かしてみて動作イメージをつかむ。 ■RedHat における iSCSI 設定とマルチパス 上と内容がかぶってます。RHEL5の場合の設定の流れを記載してます。 ■マルチパスI/Oの設定(RedHat) 一般的なマルチパスストレージの話。
必要なストレージ性能を見極めるには？
今回と次回は、仮想化環境で検討すべきストレージ性能について、詳しく解説していきたい。 ストレージの性能について考慮しなければいけない点はいくつかあるが、今回は特に仮想化環境におけるストレージ性能を検討する場合に最低限明確にしておかなければならないポイントを挙げておこう。一番基本的なポイントは、「ストレージに対するデータのやり取りが多いかどうか」だが、ここではデータのやり取りが多いことを前提に、以下の4点について考えていく。 （1）そのアクセスはシーケンシャルかランダムか ストレージへのアクセスは基本的に4KBといった単位のブロックで行われる。シーケンシャルアクセスでは、このブロックが連続して読み書きされ、ランダムアクセスは細かなブロックをバラバラに読み書きすることになる。ファイルサーバーがシーケンシャルアクセス、データベースサーバーがランダムアクセスの代表的なアプリケーションだ。 シーケン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
第22章 ストレージの I/O 調整とサイズ - Red Hat Customer Portal
はじめてのGlusterFS