NTT ソフトウェアイノベーションセンタが画期的な検証を実施した。テーマは、次世代のストレージデバイスと目される「不揮発性メモリ(NVDIMM)」と、その能力を引き出すライブラリ「Persistent Memory Development Kit(PMDK)」を組み合わせたPostgreSQLの高速化である。結果は驚くべきもので、最大でHDDの約170倍、SSDの約40倍を実測した。検証環境に採用されたのは、業界に先駆けて大容量NVDIMM搭載を可能にしたHPE ProLiant DL360サーバーである。 業界 通信 目的 次世代ストレージデバイスと目される不揮発性メモリ(NVDIMM)と、最新のライブラリPersistent Memory Development Kit(PMDK)の適用によるPostgreSQLのパフォーマンス向上。 アプローチ Postgre SQLのストレージI/
手元にNVMe SSDがあったので、自分でベンチマークを取ってみたログ。 NVMeってのは、ストレージデバイスを接続する際の規格で、従来でいうSATAインターフェースの仲間みたいなもの。NVMeの詳細は以下のリンク先に記載があるので読んでいただきたい。 NVMeは、SCSIやSATA(Serial ATA)と同じく、ストレージを接続するための規格だ。パイプラインやランダムアクセスなど、メモリーベースのストレージであるSSDの特徴を活用できる。また、SATAやAHCIの登場から現在までの間に進化した、データのレイテンシー(遅延時間)短縮のための手法も反映している。 具体的な改良点としては、4KBの転送に必要なメッセージが2つではなく1つで済む点や、コマンドを処理するキューが1つではなく複数になっているという点がある。「複数」というのは、実に6万5536個である。これにより、多数のディスクI/
日本アニメ初の快挙!海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
Build RAG applications with MongoDB Atlas, now available in Knowledge Bases for Amazon Bedrock Foundational models (FMs) are trained on large volumes of data and use billions of parameters. However, in order to answer customers’ questions related to domain-specific private data, they need to reference an authoritative knowledge base outside of the model’s training data sources. This is commonly ac
ある日 ioDriveを積んでるMySQLスレーブサーバが突然の死。 というか、レプリケーションが止まっていました。 サービスから参照されていないDBではあったので、 特に死んでいても問題にはなりませんでした。 今回つかっていたのはioDrive Duoです。 /var/log/messages確認 とりあえずシステムのログを確認してみると、 Jan 27 05:39:36 hoge-dbs kernel: fioinf HP 640GB MLC PCIe ioDrive Duo for ProLiant Servers 0000:09:00.0: groomer read had error -1024 Jan 27 05:39:36 hoge-dbs kernel: fioerr HP 640GB MLC PCIe ioDrive Duo for ProLiant Servers 00
Translation(s): none This page is about optimal set up of an SSD (Solid State Drive). This page should be kept clean enough for beginners to get the most basic idea. Note that some of the configuration improvements listed below happen automatically today for new installations. WARNING Some firmware versions on some SSD models have bugs that result in data corruption when used in certain ways. For
出典:日経コンピュータ 2012年12月20日号 pp.70-77 (記事は執筆時の情報に基づいており、現在では異なる場合があります) 2012年、DRAMでもフラッシュメモリーでもない“第3のメモリー”の量産出荷が始まった。DRAM並みに高速でありながら、フラッシュ同様に電源をオフにしてもデータが消えない「新世代不揮発性メモリー」だ。新メモリーによってコンピュータのアーキテクチャーは激変し、入出力(I/O)の大幅な高速化が実現すると共に、消費電力は激減する。 コンピュータには、高速だが電源をオフにするとデータが消える「主記憶装置(メインメモリー)」と、低速だがデータが消えない「外部記憶装置(ストレージ)」という2種類の記憶装置がある。 こんなコンピュータアーキテクチャーの常識が一変する可能性が出てきた。DRAM並みに高速でありながら不揮発性を備えた「新世代不揮発性メモリー」の量産出荷が始
<Chair> 中澤 道治 さくらインターネット株式会社 企画部 リーダー <Speakers> 渡辺 隆志 株式会社ミクシィ システム本部 運用部 部長 吉田 晃典 ミツバチワークス株式会社 技術部 ソフトウェアエンジニア 概要 PCサーバーが普及する中で、「CPU」が高速化し「メモリ」が大容量化するなど、その性能面での向上が進んできました。 しかし、「ストレージI/O」については未だにボトルネックを抱えており、大きな障壁になっています。 このブレイクスルーとして注目されているのが『SSD』であり、データベースやキャッシュなど、 I/O負荷の高いサーバーにおいての採用が進んできました。 その反面、「ハードディスクとは異なった特性を理解しないと、十分にその恩恵を受けられない」という課題もあり、 導入を見送るケースも見られます。 本セッションにおいては、SSDを導入している事業者から、「改善
(※ 追記しました - 5/19/13) 巷ではMySQL 5.6 GAが出て騒がしいですが、ちょっと前に5.5系でAWSのSSDインスタンス(hi1.4xlarge)に載せ替える案件があったので、その時に取ったベンチマークを公表します。以前Fusion-IO (ioDrive Duo)でも同じようにやったので、比較になれば。 経緯 あるウェブサービスのDBサイズが巨大でm2.4xlargeでも辛くなってきている アクセスパターンによりパーティショニングが効かない シャーディングをするにはアプリ改修が大変 数週間後に急激なアクセスが予想され、時間的余裕がない! データサイズの急激な増加によりbuffer poolから溢れ、ディスクアクセスのさらなる発生が懸念 というわけで、時間がないのでSSDへの移行を検討し、ベンチマークを取りました。 buffer poolが徐々に足りなくなった場合のデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く