『【研究課題レポート抜粋】各無償OSにおけるFSとMySQLの性能』
これは第1回研究課題(2008年前半期)におけるDaikoku氏のレポート「Linux，OpenSoralis，FreeBSDの各ファイルシステムにおけるMySQLの性能評価」からの抜粋です。当時の環境、状況における結果の有用性から、最優秀賞を受賞しました。 1. はじめに これまでは，Linux上でMySQLを利用することが多かったが，昨今，他のOSもオープン化や利便性向上，新しいファイルシステムへの取り組み等，注目すべき点がある．本稿では，IAサーバにLinux，OpenSolaris，FreeBSDをインストールし，MySQLを稼動させ特徴や性能の評価を行う． 2. ファイルシステムについて 現在のところ，アメーバで利用しているMySQLはext3を利用している．その他の主なファイルシステムとしては，下表のようなものがある． 本稿では，特に実用性が高いと思われるext3，UFS2（以
グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる
GFS: Evolution on Fast-forward - ACM Queue
A discussion between Kirk McKusick and Sean Quinlan about the origin and evolution of the Google File System. During the early stages of development at Google, the initial thinking did not include plans for building a new file system. While work was still being done on one of the earliest versions of the company's crawl and indexing system, however, it became quite clear to the core engineers that
グーグルが「Google File System」次期バージョンを開発中 － Publickey
グーグルが独自に開発した分散ファイルシステム「Google File System」（GFS)。GFSには、グーグルがクローラが集めてきた大量のコンテンツ、GMailなどの利用者が保存する大量のファイル、 Google Mapsなどが表示する大量の画像など、想像を絶するほど大量のデータが保存されています。 GFSは約10年前に開発され、その後改良を加えられてはきましたが、いくつかの弱点が表面化してきています。それらの弱点を克服するために現在グーグルでは GFSの次のバージョンを開発中で、開発責任者であるSean Quinlan氏へのインタビューが、米国の計算機学会であるACMのWebサイトに掲載されています。 GFS: Evolution on Fast-forward また、そのインタビューの概要がニュースサイトRegisterの記事「Google File System II: Daw
An Interview With Linus Torvalds: Linux and Git - Part 1 30 Years Of Linux
Jeremy founded Tag1 Consulting in 2007. He has been a contributing core Drupal developer since 2002, and helped establish Drupal as a successful CMS through the early popularity of his personal blog, KernelTrap.org. Over the years, he authored and maintained the core statistics module and throttle module, as well as the pager logic and the initial Drupal 5 installer. He continues to contribute to
Домен припаркован в Timeweb
Timeweb - компания, которая размещает проекты клиентов в Интернете, регистрирует адреса сайтов и предоставляет аренду виртуальных и физических серверов. Разместите свой сайт в Сети - расскажите миру о себе!
EXT4, Btrfs, NILFS2 Performance Benchmarks - Phoronix
Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 19+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor
Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi
※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached
http://www.cloudera.com/sites/default/files/HDFS_Reliability.html
The Hadoop Distributed Filesystem (HDFS) is a distributed storage system for reliably storing petabytes of data on clusters of commodity hardware. This short paper examines the reliability of HDFS and makes recommendations for best practices to follow when running an HDFS installation. Overview of HDFS HDFS has three classes of node: a single name node, responsible for managing the filesys
豆知識/ZFS/障害時にメールを自動送信 - 三浦克介 - 情報科学研究科 - 大阪大学
ZFS自体には、障害発生時にアラームを鳴らしたり、メールを自動送信したりする機能はありません。しかし、以下のコマンドで簡単に障害の有無を判定できますので、簡単な設定でメール送信することが可能です。 env LC_ALL=C zpool status -x 正常な状態であれば、上記のコマンドは、以下の１行を出力します。 all pools are healthy これを利用し、cronで定期的に状態をチェックし、障害があればメール送信をしてやります。cronを設定するには、root権限で以下のコマンドを実行します。 crontab -e エディタ（多くの場合vi。嫌な人は、EDITOR環境変数を設定しましょう）が開きますので、以下の行を追加します。 0 * * * * [ "`env LC_ALL=C zpool status -x`" != 'all pools are healthy'
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
MogileFSに関して日本語で読める情報 - kinneko@転職先募集中の日記
読みは「モジャイル」かな？ まずは、このへんから。 Learning MogileFS http://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS について http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html MogileFS のインストールと初期設定 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html MogileFS::Client と MogileFS 内部でのファイルノード管理 http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html N
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
Windowsでsshfsを〜Dokan sshfsの紹介 | ぶろゲ
Windowsネイティブでsshfsに対応するようなソフトがないか探したら、あったので紹介。 Decas 意識しないで自然に使えるデータ管理システム Download at Decas とりあえず挙動は良く分からない。サーバの中の全てのディレクトリが表示されなかったり。 試してみて使えそうだったら、使うといいかも。 Dokan sshfsを使うには、このサイトから以下のソフトウェアをダウンロード。 Visual C++ 2005 SP1再配布可能パッケージ dokan-0.2.4.1039 2008/2/5 dokan-sshfs-0.1.7.1027 2008/1/31 上記の順にインストールしてみた。 まずはVisual C++ 2005 SP1再配布可能パッケージのインストール。 次にDokanライブラリのインストール。 次にDokanのsshfsマウンタをインストール。 当環境では
GlusterFS 3.1.5 now available
For customers and community members on the 3.1.x series, we recommend that you upgrade to the latest, GlusterFS 3.1.5, available today. Here are some issues fixed in this release: Bug 2294: Fixed the issue occurred during creating and sharing of volumes with both RDMA and TCP/IP transport type. Bug 2522: Fixed the issue of invalid […]
Linux用次世代ファイルシステム「btrfs」が統合へ － ＠IT
2009/01/13 Linux向けの次世代ファイルシステム「btrfs」（バターファイルシステム）を開発する米オラクルのクリス・メイソン（Chris Mason）氏は1月12日、最新版のバージョン0.17をリリースした。btrfsはこのバージョンで、初めてリーナス・トーバルス（Linus Torvalds）氏が管理する開発版のカーネル2.6.29-rc1に取り込まれた。 btrfsはコピー・オン・ライトと呼ばれるテクニックを使った新しいファイルシステムで、2007年8月にオラクルが発表。大規模なストレージ管理に必要な機能を備えたファイルシステムを目指し、GPLで開発が進められている。コピー・オン・ライトにより、内容が同じである限り、実データの複製をディスク上に作らずにファイルやディレクトリを作成することができる。 例えばシステム全体のスナップショットを作成し、そのスナップショットに対して
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Домен припаркован в Timeweb
Ext4(and Ext2/Ext3) Wiki - Main_Page
IBM Developer