コンテナ型仮想化技術 Study07 / ストレージ - Qiita
はじめに お勉強のログです。Persistent Volume辺り。 関連記事 コンテナ型仮想化技術 Study01 / Docker基礎 コンテナ型仮想化技術 Study02 / Docker レジストリ コンテナ型仮想化技術 Study03 / Docker Compose コンテナ型仮想化技術 Study04 / Minikube & kubectl簡易操作 コンテナ型仮想化技術 Study05 / Pod操作 コンテナ型仮想化技術 Study06 / ReplicaSet, Deployment, Service コンテナ型仮想化技術 Study06' / Kubernetesネットワーク問題判別 コンテナ型仮想化技術 Study07 / ストレージ コンテナ型仮想化技術 Study08 / Statefulset, Ingress コンテナ型仮想化技術 Study09 / Hel
KubernetesでNFSを利用してPersistentStorageを準備する - Qiita
はじめに 【2022/03/18追記】NFSを利用したPVの構築は、RWX(ReadWriteMany)モードを簡単に実現できるので便利です。以前は、Rook/Ceph がRWXモードをサポートしなかったり、CephFilesystem が一つしか使えないなどの制約があって、NFSを利用していました。現在では Rook/Ceph がRWXをサポートするようになっていますので、既存のNFSサーバーを再利用したい、各ワーカー・ノードに空のドライブが接続されていない、といった理由がなければ Rook/Ceph の利用をお勧めします。Rook/Cephを利用すれば、BlockStorageだけでなく、CephFilesystemでも、任意のサイズでコンテナから利用できる永続化デバイスを作成でき、後からサイズを拡張(resize)することも簡単にできます。 いろいろアプリケーションをデプロイするため
kubernetesが外部のGlusterFSを使えるようにして、データを永続化できるようにする - Qiita
Kubernetes界隈だと近頃の永続化ストレージはRook+Cephを扱った記事が多いようですが、こちらでCephは障害が多そうとか、Cephは最低3台必要でちょっとマシンリソース的に厳しいとかで、GlusterFSにしました。前の会社で、ちょっとGlusterFS+Heketiに因縁もあったし。 で、ベアメタル?オンプレミス?環境だから、GlusterFSをPodで動かすより、Kubernetes外部で動かして、データにアクセスしやすくしてみました。GlusterFSも推奨は3台ですが、最低2台でもいけるので、物理ホストと、新しい仮想サーバ(glusterfs-node1)でクラスタを構成しました。KVMの調子が悪くなっても物理ホストにデータが残るように。 物理ホスト GlusterFSとHeketiのインストール # yum install -y centos-release-glu
MySQL: COUNT(*) は 1 ？？ - sakaikの日々雑感～(T)編
Twitterに書き殴ったのですが、流れてしまうので、一応こちらにもまとめておこうかと。 これって、何を数えているんでしたっけ？ mysql> SELECT COUNT(*); +----------+ | COUNT(*) | +----------+ | 1 | +----------+— 坂井 恵(SAKAI Kei) (@sakaik) 2020年5月1日 コトの発端はちょっとした打ち間違いだったのですが、MySQL は FROM 書かなくても演算できます。こんな感じ。 mysql> SELECT 3; +---+ | 3 | +---+ | 3 | +---+ mysql> SELECT SQRT(64); +----------+ | SQRT(64) | +----------+ | 8 | +----------+ ここで、SELECT COUNT(*) とすると何が返って
Kubernetes基礎（LFS258-JP）-Linux Foundation-トレーニング
このコースでは、Googleなどの企業がアプリケーションインフラストラクチャを管理するために使用するコンテナ管理プラットフォームの使用方法について説明します。ネットワーク構成からアップグレード、サービスを介したデプロイメントの利用まで、本番環境レベルのKubernetesクラスタをインストールして構成する方法を学びます。このコースでは、ポッド、デプロイ、レプリカセット、サービスなどの主要な原則も学び、Kubernetesを自分で使い始めることができるように十分な情報を提供します。
Kubernetes（LFS158x）の概要-LinuxFoundation-トレーニング
このコースは、Kubernetesとクラウドネイティブパターンを使用して組織の変革を開始する方法に関するガイドラインが必要なコンテナーオーケストレーションにKubernetesを使用することを検討または開始しているチームを対象としています。 Linuxシステム管理の知識は役立ちますが、必須ではありません。
今こそ始めよう！ Kubernetes入門
Google、MicrosoftそしてAmazon（AWS）といった大手クラウドプロバイダーによる対応も始まり、Kubernetesはコンテナオーケストレーションエンジンのデファクトスタンダードとなった感があります。この連載では、Kubernetesの基本的なことから実際に使用するところまで、解説します。 Kubernetes、始めるなら今です。
2019年版・Kubernetesクラスタ構築入門 | さくらのナレッジ
Kubernetesが標準で提供するリソースの一覧はAPIドキュメントで確認できる。また、独自のリソースを定義して利用することもできる。 Kubernetesでは、「マニフェスト（manifest）」と呼ばれる形式で各種リソースを定義する。マニフェストは木（ツリー）構造で表現できるデータであり、たとえばコマンドラインツール「kubectl」ではYAML形式で記述されたマニフェストを元にリソースの作成や削除、変更といった操作を行える。 kubectlの使い方についてはドキュメントを参照して欲しいが、たとえば、DockerHubで公開されている「httpd」コンテナイメージを利用してApache HTTP Serverを実行させるには、まず次のようなマニフェストファイルを用意する。 apiVersion: v1 kind: Pod metadata: name: httpd labels: a
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
Redshiftを数百人で使うためのコツ（クラスター構成編） — HACK The Nikkei
日経ではアクセスログ、所謂クリックストリームデータを用途に合わせた複数のデータベースに格納し、サービス開発やマーケティングに携わる社員が自身でデータ分析ができるよう、セルフサービス化を進めています。 セルフサービス化を進めている背景として、データの集計や分析のニーズは日々増え続ける一方で、アナリストやデータサイエンティストのリソースはオンデマンドに増やせないため、いかにしてデータのアウトプットをスケールさせるかという課題があります。この課題に対するソリューションとして、データ専門チームの設立やオフショアのような人のリソースを拡張する施策に加え、ツールの整備と教育によるセルフサービス化に力を入れています。 データの集計や分析のセルフサービス化において、特に大きな課題がクエリーの負荷です。現在、およそ 200 人が BI ツールにログインして Redshift でクエリーを実行できる権限を保有
MySQLのfilesortは何ソートで行われているのか - $shibayu36->blog;
最近、CourseraのArgorithms, Part1という講義を受けている。そこでソートの講義を受けて、そういえばMySQLのORDER BYでfilesortになったときってどのソートが使われているのだろうと気になってきたので調べてみた。 調べてみると非常に難解で、結局いまいち分からなかったが、今の段階の調べた内容をひとまず書いておく。MySQLのコードを読んだのも初めてで、しかもちゃんと読み解くことができなかったので、情報が間違っている可能性も非常に高い。間違ってたら指摘してもらえるとうれしいです。 調査結果 最初に調査結果を書いておく。たぶんこれは非常に単純化したもので、詳しく見るともっといろいろチューニングされてそう。 sort_buffer_size以内のメモリ量でソートが可能な場合、メモリ内でのみソートされる ソートにsort_buffer_size以上のメモリが必要な場
「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」を１年掛けて整理した
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
AWS クラウドデザインシート テンプレートを公開してみた | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 パブリッククラウドの利用は今後も拡がっていくと予想しています。 比較的慎重であった社内基幹システムのクラウド移行も進んでいくことと思います。 今までとどう違うのか、AWS ならではの使い方はどうすればいいのか、という悩みをお持ちの方は大勢いらっしゃると感じています。 そんな方々のお役に少しでも立てばという想いでドキュメントテンプレートを公開しました。 クラウド上にシステム構築を行う前の設計フェーズで使用するドキュメントを想定して作成しました。 一般的に言う「インフラ基本設計」にあたるドキュメントです。 ドキュメントはこちらで公開しています。ご自由にお使いください。 対象利用者 以下のような利用者を想定しています。 AWS 上で自社サービスを構築するインフラ
最強データベース（RDB）設計とは？アンチパターンの見極め方法も - FLEXY（フレキシー）
※2020年6月に公開された記事です。 日本PostgreSQLユーザ会の理事を務める合同会社Have Fun Techを起業した曽根壮大（@soudai1025）と申します。元株式会社オミカレ副社長兼CTOです。直近では、『失敗から学ぶ RDBの正しい歩き方』を執筆しました。 今回はデータベースをテーマとして、魅力やMySQLとPostgreSQLの違い、アンチパターンの見極めなどの基礎知識に加え、勉強法などもご紹介します。 RDB関連の求人検索はこちら データベースを学ぶ魅力をエンジニア目線で考察 1.知識の費用対効果が高い エンジニアがデータベースを学ぶ利点という観点から言うと、データベースの特徴は寿命が長いことと私は考えています。 Webアプリケーションの界隈では1年単位でバージョンアップしたり流行っている言語が変わってしまうことがザラにありますが、データベースは10年、20年とい
PostgreSQLのトランザクション分離レベル毎のパフォーマンス測定（に失敗しました） - ぱと隊長日誌
要約 PostgreSQL のベンチマーク試験コマンドである pgbench を利用して、トランザクション(TX)分離レベル毎のパフォーマンス測定にチャレンジしました。 残念ながら、今回の検証手法でTX分離レベルのパフォーマンスを比較することに意味がないと言わざるを得ない結果となりました。 ただ、この過程で得られた知見は今後の検証の糧になると考えています。そこで、検証記録をここに公開します。 検証環境 Windows の Hyper-V による仮想マシンを検証環境としました。本来は物理マシンを使うのが理想なのですが、機材を準備できなかったためです。 ホスト プロセッサ Intel Core i5-6600 CPU @ 3.30GHz メモリ 20.0 GB OS Windows 10 Pro バージョン 1909 Hyper-V プロセッサ 4個の仮想プロセッサ メモリ 8.0 GB OS
NewSQLのコンポーネント詳解 - Qiita
4.2.1 Shardingの手法 先ほどの表1を理解するにはSharding手法の列にあげられた各用語の理解が必要となる。 YugaByteDBのブログ「Four Data Sharding Strategies We Analyzed in Building a Distributed SQL Database」には、非常に詳しくShardingの手法が紹介されている。この記事では、大きく以下4つの分類があるという。 Algorithmic Sharding (例: Memcached/Redis) Linear Hash Sharding (例: 過去のCassandra) Consistent Hash Sharding (例: DynamoDB、Cassandra) Range Sharding (例: Spanner、HBase) 詳細は割愛するが、1つ目のアルゴリズム・シャー
データベースパフォーマンスチューニングのための10の秘訣 - ハッカーになれなかった僕らへ
先日公開された以下の記事がデータベースのパフォーマンスチューニングについて非常に示唆に富む内容だったので、新型コロナで持て余した時間を使って、個人的な趣味でざっくり意訳してみました！ 誤訳や日本語として変なところが多々あるかと思いますので適宜修正していきますが、正しい内容は原文を参照してくださいねー。 基本的にOracleデータベースやExadataに関する内容となっていますが、データベースパフォーマンスチューニングのための10の秘訣（チップス）です。 1. パフォーマンス測定の主要なアプリケーションのメトリックを特定する パフォーマンスを測定するときは、アプリケーションの稼働状況を反映したりエンドユーザーの体感を代理するような主要なアプリケーションのメトリックを特定します。このメトリックはデータベース外部のものであるべきです。例えば、秒間のオーダー処理数やバッチジョブの経過時間などです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GlusterFS Dynamic Provisioning using Heketi as External Storage with GKE
GitHub - craftgear/the-little-redis-book: The Little Redis Book 日本語訳
Using advanced options in MariaDB Connector/J