インフラエンジニアの独り言、ストレージは盲点になりがち - orangeitems’s diary
インフラエンジニアの世界 IT技術者というと世間から見たら、要件定義やシステム設計をおこなうシステムエンジニアと、それを実装するプログラマーしか見えてないと思うんですよね。でもその基盤を動かすインフラエンジニアという人たちが全体の10パーセント弱（肌感）存在しています。 インフラエンジニアと言ってもまたそこから役割分担があって、物理サーバーやOSに強いサーバーエンジニアと、ネットワークに強いネットワークエンジニアがいます。大昔は物理サーバーとネットワークしかインフラに無かったので、大体はこの二極化でした。ネットワークエンジニアはスイッチやファイアウォール、ロードバランサーくらいまでは自分の領域としてくれていますが、OSやミドルウェアのことになると、それは私の領域ではない発言が出てサーバーエンジニアをブチ切れさせること請け合い。逆にネットワークエンジニアはサーバーエンジニアがなんでもネットワ
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
RHEL GlusterFS関連の資料をまとめ
良さ気な資料を自分用にまとめ。 といっても大半が @keithseahus さんの資料。 ・GlusterFSの優れている点は「POSIX準拠のIOができる」こと。これにより既存アプリをほとんど変更無しに動かせる。ただしロック等一部完全では無い部分もあるので注意。 ・GlusterFSにObject Storage機能があるが実態はOpenStackのSwift。 ・GlusterFS上でSwiftを動かすメリットはレプリケーション。Swiftはクラスター間レプリケーションが弱い(1.4.4時点) ・GlusterFSとSwiftの分散の仕組みはほぼ一緒。静的なHashテーブルをベースとするが、GlusterFSの方が先進的。Swiftはよりシンプルな実装。どっちがいいかは好み。 ・本家 http://www.gluster.org/ ・Red Hat Storage Software A
グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる
容量無制限の無料オンラインストレージ firestorage
firestorage.jp は個人、ビジネスを問わずご利用頂ける無料オンラインストレージです。 リモートワーク・テレワークでファイルを共有し送信・ファイル保存・データを送るのに便利、すぐにアップロード可能です。
DVDに焼くなんてもう古い!? HDDパンパン状態を賢く解消 | 教えて君.net
日夜ダウンロードをしまくっていると、HDDはいくらあっても足りなくなる。空き容量を増やすため、たまった動画をDVDに焼いたりなんてことをしていた人も多いだろう。しかし、チマチマした作業で空けられる容量なんてたかが知れている。抜本的な解決のためには、データ用のディスク数を増やすしかない。手っ取り早くお金を全く使わないで増やすには、ネット上のディスクスペースにファイルを置ける「ウェブストレージ」を使うのがベストだ。 最近のウェブストレージは、無料で25Gバイトだの50Gバイトだのといった大容量が使えちゃうものもあるので、あふれた分はそこにぶち込んでしまえばいい。それでも足りなくなったら、別のウェブストレージを併用したり、複数アカウントを作ったりすれば、タダでいくらでもディスクが増やせるのだ。 ウェブストレージはネットを経由するので速くはないし、アップできるファイルの容量に制限を設けているところ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【13-D-1】 ERP5に見るストレージ技術