ビッグデータを扱った時のでファイルシステムでのパフォーマンスの差 - にほんごのれんしゅう
多コアCPU, GPUなどの発展により、一台のマシンで効率的なmap reduceができるようになりました Map Reduceはそのアルゴルズムから分散性能が十分な際、複数のマシンで分割してタスクを実行できるので、ビッグデータを処理する際には非常に便利なのですが、これはnVidia社のCUDAやAMD Ryzenなどの極めてコア数が多いCPUなどと、高速なIOをもつDiskであるNVMeなども用いることで、同様のシステムを一台のコンピュータで完結させることができるようになりました。 会社ではAWSのElastic Map Reduceを使うほどの分析じゃないけど、コストを安く、定常的にMap Reduceで処理したいというモチベーションの時、自作したMap Reduceフレームワークを使っています と言っても、優秀なファイルシステム、高速なディスクIO、マルチコアの強力な並列性に依存して
宮崎悟の「UbuntuでZFSを使ってみよう」第1回 「Linuxのファイルシステムについて」 | 株式会社デジタル・ヒュージ・テクノロジー
はじめに 皆様はじめまして、宮崎と申します。今回より、このコラムを始めさせていただくことになりました。よろしくお願いします。 さて、SolarisとZFSとZoneがダイスキな私ですが、今時のSolarisの不憫さのため、せめてZFSの良さを皆様にお伝えしたく、このコラム執筆を引き受けました。このコラムを書かせていただくからには、もうZFSから離れられない体にすべく布教に努めさせていただく所存でございます。 ファイルシステムとは さて、ZFSを語る前に、ファイルシステムとは何かというところをもう一度おさらいしてみましょう。 Wikipediaでは「コンピュータのリソースを操作するための、オペレーティングシステム (OS) が持つ機能の一つ」とあります。 その中には、HDDやSDDなどのストレージを扱うディスクファイルシステムや、デバイス・プロセス・カーネル内の情報を扱うprocfsのような
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
