Cephをとりまく状況
はじめに 本記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 9日目を後からこっそり埋めたものです。 今後数年のCephの動向予測をします。機能的にどうこうという話はしなくて、どういう管理方法が主流になるとかどういう製品が出てくるかとかそういう話です。わたしはCephの製品を出している会社にいるわけではないので、あくまで外野としての意見です。 管理ツール乱立問題 Cephは非常に高機能です。10年以上にわたって多くの大規模ユーザが使ってきたため、ストレージ屋さんがとくに気にする使用実績についても申し分ありません。ただし使い勝手という面では課題があり、生のCephをそのまま使うのは大変という問題がありました。できたクラスタの管理も大変ですし、そもそもインストールが面倒です[1]。 Cephを管理するソフトウェアにはデファクトスタンダードとい
Ceph MultiSiteをやってみる - 赤帽エンジニアブログ
この記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 4日目の記事です。 お久しぶりです。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 去年のアドベントカレンダーぶりかもしれませんね、今年もがんばってやってますので、ストレージ愛が五臓六腑に沁み渡るみなさんのブログを楽しんで下さいね！今日はRookのブログから閑話休題で、CephのMultiSiteについて書いていきます。 qiita.com あとRookのTwitterアカウント、@japan_rookのフォローお願いしまーす！ サイト障害に耐えるためのサイト間レプリケーション 一般的にオブジェクトストレージサービスはサイト障害に耐えられるよう、バックグラウンドでサイト間レプリケーション等が行われていることが多いと思います。 正直オブジェクトストレージはブ
ストレージはつらいよ？ - 赤帽エンジニアブログ
この記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 25日目の記事です。(過ぎてるけど…) こんにちは。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今日はOpenShiftをはじめとするコンテナ環境における…に限らずの一般的な環境でストレージがハマりやすいわけについての愚痴お話しをしたいと思います。 あんまりストレージ詳しくないかたに読んでもらって、へぇと思っていただければ嬉しいです。 コンテナ環境でハマるストレージの落とし穴 コンテナ環境におけるストレージは、CSI(Container Storage Interface)の仕組みができてから、使い始めるにはかなり簡単になりました。パブリッククラウドにしろオンプレにしろ、そこにあるストレージをコンテナストレージとして使えるようになったからです。 とは言
ストレージオーケストレーター Rook戦記 水天のOADP(OpenShift API for Data Protection) - 赤帽エンジニアブログ
この記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 18日目の記事です。 こんにちは。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今日はOpenShiftにおけるバックアップについてお話ししたいと思います。 OpenShiftのバックアップ 言うまでもなくOpenShiftはImmutableなプラットフォームです。 ですから従来のいわゆるシステムバックアップに相当することはあまり行わないと思います。 Master etcdのバックアップや各種Cluster ResourceのYAMLファイルを別のところに取っておいてもまあ損はないですよ、くらいでしょう。 しかしStatefulアプリケーションで使われるデータは、ガシガシ上書きされますし失くなったらそれっきりです。つまりPersistent Volum
Red Hat OpenStack Platform Distributed Computes Nodes - 赤帽エンジニアブログ
OpenStackを担当しているソリューションアーキテクトの輿水です。 Red Hat OpenStack Platform Distributed Computes Nodes（以下DCN）はOpenStackのコントロール部分をセントラルサイトに集約し、計算リソースやストレージをエッジサイトに分散させる仕組みです。実装自体はRHOSP 10の頃より行われており、機能改善・増強が続けられています。RHOSP 16.1で大きく変わった点は、デプロイモデルとRed Hat Ceph Storage 4との統合によるストレージ機能の強化です。 DCNのデプロイモデル 現在のRHOSPはOpenStack Directorを利用してデプロイされた環境がサポート対象となっています。DCNをOpenStack Directorを利用してデプロイする際、RHOSP 16までは単一のheatスタックを利
Japan Rook Meetup #3のまとめ
Kazu@capsmalt @capsmalt 今日は Rook Meetup 第3回 です！（18:30〜ではなく18:00 スタートです！） rook.connpass.com/event/174294/ #japanrook YoutubeLiveで配信しますのでお楽しみに〜 2020-07-03 12:32:16 こば -Koba as a DB engineer- @tzkb さて、今日はJapan Rook Meetupの第3回を行います。Rookに欠かせないCephの基礎からEdgeFSまで、ここでしか聴けない話が盛り沢山。要チェックです。 あ、時間は少しお早め、18時からですよー。 #japanrook rook.connpass.com/event/174294/ 2020-07-03 13:15:37
Ceph Pool の利用可能容量の計算法 - うつぼのブログ
こんにちは、うつぼです。 今日は小ネタで Ceph の capacity usage について説明します。 Ceph はどれくらいの容量が使えるのか分かりづらいことで定評があります。 いや分かることは分かるんですが、「なんでそーなるの？」と欽ちゃんライクになる人もいるでしょう。今日はそこを紐解いていきましょう。 ceph df を見ていく ceph df の出力 まず、Ceph の Pool の capacity usage は、ceph df コマンドで見ることができます。 0.5 TiB (512 GiB) の osd を1つだけ持つシンプルな 3 node の Ceph クラスターを用意します。直後に、 3x replicated pool 2x replicated pool 2+1 erasure coded pool の3つの Pool を作り、ceph df を実行してみます
Cephクラスタのupgrade - うつぼのブログ
この記事はRookだらけの Advent Calendar 2019 8日目の記事です。 今日は超軽くRook-Cephで作ったCephクラスタのupgradeを説明します。 Cephのupgrade Cephは基本的にコンポーネントが冗長化されて動いているので、1つずつrolling upgradeすることでストレージ的にはNon-disruptiveなupgradeができます。 Rook-Cephではoperatorがその辺りを自動的にやってくれるので、人がやることは超少ないです。というわけでやってみましょう。 いつもどおり3master+3workerで各workerにそれぞれ2つOSDをぶら下げたCephクラスタを作ります。 [utubo@tutsunom ceph]$ kubectl get node --sort-by=".metadata.creationTimestamp"
Rook-Ceph OSD on PVC(後半) - うつぼのブログ
この記事はRookだらけの Advent Calendar 2019 7日目の記事です。 昨日はOSD on PVCのCephクラスタをデプロイできたのはいいものの、OSDがうまく散らばってくれないという問題に直面しました。 しかも織り込み済みの問題だという。今回はこの問題を回避する方法の一例を紹介します。 そういうわけで、今の時点ではマニュアルで3nodeの散らばるように書く必要がありそうです。 3nodeに散らばるようにする方法 Kubernetesにまかせてカッコよくosdを散らすのは難しそうなので、マニュアルで散らせます。 色々失敗した検討した結果、こんな感じでNode Affinityを使ったら3osdずつ散らばりました。 [utubo@tutsunom ceph]$ cat my-cluster-on-pvc.yaml apiVersion: ceph.rook.io/v1 k
Rook-Ceph OSD on PVC(前半) - うつぼのブログ
この記事はRookだらけの Advent Calendar 2019 6日目の記事です。 Rook 1.1でできるようになった OSD on PVC の説明をします。 OSD on PVC ??? OSD on PVCというのは、ceph-osdをPVC から作ろうということです。 CephはブロックデバイスからOSDを作成するため、言うまでもなくceph-osdにはブロックデバイスが必要です。 osdのブロックデバイスはrook-ceph-osd Podが稼働するworker nodeから取ってくるので、事前に何らかの方法でworker nodeにブロックデバイスをattachしておかなくてはなりません。 しかしこのworker nodeにブロックデバイスをattachする作業は、Kubernetesが乗るプラットフォーム側の操作です。Kubernetesで何かしらやりようはあると思いま
ストレージオーケストレーター Rook : 第8話 宿命のObject Bucket(Bパート) - 赤帽エンジニアブログ
この記事はRookだらけの Advent Calendar 2019 5日目の記事です。 はいども。レッドハットでストレージを中心にクラウドインフラを生業にしているウツノミヤです。 CM空けてBパートです。ひとつのネタをAパートBパートに分けるあたりにウツノミヤの台所事情が垣間見えるRookアドカレ。引き続きみんな楽しんでね！ qiita.com そして引き続きRookとOpenShift Japan CommunityのTwitterアカウント、@japan_rookと@openshiftjpのフォローお願いしまーす！ OBにPUTしてみる。 前回OBCでBucketを作ってappにattachしたんで、実際にデータをPUTしてみましょう。 あ、appはナイスな記事を書かれている人を見つけたので、この記事の最後の方で使われてるappを使わせてもらってます。ていうかこの記事あれば俺の記事い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Red Hat Advances Cloud-Native Analytics with New Kubernetes-Based Data Services
Ceph Pool の利用可能容量の計算法 - 赤帽エンジニアブログ
Workload Characterization: OpenShift Registry with OpenShift Container Storage
Workload Characterization: OpenShift Metrics with OpenShift Container Storage
Ceph Block Performance Monitoring: Putting noisy neighbors in their place with RBD top and QoS
Japan Rook Meetup #2 レポ｜Naoki Oketani｜note
Storage infrastructure for everyone: Lowering the bar to installing Ceph
Red Hat Accelerates Cloud-Native Development with Unified Hybrid Cloud Storage for Red Hat OpenShift Container Platform
Deploying your storage backend using OpenShift Container Storage 4