SLOをゼロからつくるtfnotify - Show Terraform execution plan beautifully on GitHub
GitHub - doitintl/kube-no-trouble: Easily check your clusters for use of deprecated APIs
Easily check your clusters for use of deprecated APIs Kubernetes 1.16 is slowly starting to roll out, not only across various managed Kubernetes offerings, and with that come a lot of API deprecations1. Kube No Trouble (kubent) is a simple tool to check whether you're using any of these API versions in your cluster and therefore should upgrade your workloads first, before upgrading your Kubernetes
Data Contract について調べた
データエンジニアリングの領域で少し前から目にするようになった “data contract” という言葉。 なんとなく今の業務で困っている課題の解決になりそうな気がしつつもよくわかっていなかったので調べてみた。 data contract について語られているいくつかのブログ記事などを参考にしている。 Data Contract とは#データの schema というのはナマモノで、いろいろな理由で変更されることがある。 schema を変更する場合、その schema のデータ (table や log) が所属する単一のビジネス機能や application のドメインで行われることになる。 そのドメインの閉じた世界で考える分にはこれで問題ないのだが、DWH や data lake など組織レベルのデータ基盤でデータを流通していた場合はその先のことも考えないといけなくなる。 このようにチ
Google Cloud Session_内間 和季_CloudNative Days Tokyo 2022
Google Kubernetes Engine (GKE) で実現する運用レスな世界 Google Cloud アプリケーション モダナイゼーション スペシャリスト 内間 和季 Table of Contents Google Kubernetes Engine (GKE) 概要 ワークロードやノードのリソース管理 クラスタのアップグレード / 脆弱性対応 エコシステムの運用 まとめ 01 02 03 04 05 Google Kubernetes Engine (GKE) 概要 01 Google Kubernetes Engine - Standard Google のマネージド Kubernetes 環境 ● 自動でスケーリング、 アップグレード、ノード修復 ● Kubernetes 運用のベスト プラクティスをマ ネージド サービスとして提供 ● セキュリティとコンプライアンス
いつScalaを使い、いつ使わないのか
前置き 先日Twitterでこのような興味深いツイートを拝見しました。 なるほどと思ったので、自分が技術選定/アーキテクチャ設計において「どのような時にScalaを選択し、どのような時に選択しないのか」をあらためて言語化してみることにしました。 ちなみにこの記事タイトルは Scala福岡 2019 で講演させて頂いたものと同じタイトルですが、当時の資料は説明が無いと誤解を招く部分も多く非公開にしているため、その焼き直しも含めてこの記事を書いています。 また、ここで記載している内容は2022年8月現在の事情を元にした考えになります。言語の機能やとりまく状況などは日々変わっていくものであり、前提が変われば結論が変わることも当然にあります。あくまで現時点での意見の一つとして参考程度にして頂ければ幸いです。 また、この記事では主に言語機構や周辺ライブラリ・エコシステムといった側面からの判断を中心と
BGP Graceful Restartに関わる各OSSルーティングプラットフォームの動向調査
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは．2021年の4月からITSC Verda室のネットワーク開発チームでアルバイトをしている菅原大和(@drumato)と申します．本記事は，私達のチーム内で調査が必要になった，BGPでNSF(Non-Stop Forwarding)を実現する技術の一つであるBGP Graceful Restartの一般的な話題について整理し発表するものです．また，各OSSルーティングプラットフォームの状況について整理します．付随する話題として，私達LINEがネットワークメンテナンスに力を入れる理由や，ネットワークプロトコルの技術を積極的にキャッチアップする背景についても触れます．Long-Lived Graceful Re
[SRE NEXT 2022]増大を続けるYahoo! JAPAN Kubernetesクラスタ群キャパシティ管理のモダン化
SRE NEXT 2022 https://sre-next.dev/2022/ [Speaker] ヤフー株式会社 KaaS SRE 水落 啓太 [Description] 増大を続けているヤフーKubernetesクラスタ群（1,000+クラスタ, 400,000+コンテナ）のキャパシティ管理をシステム化し、キャパシティプラニングなどキャパシティに関する運用業務健全化に取り組んだ事例を紹介します。 私たちは、ヤフーの各種サービスを支えるプラットフォームとしてKubernetesクラスタを簡単に利用可能とするKaaS (Kubernetes as a Service) を運用するチームです。 旧来システムのシステム刷新や、ビジネスの伸びやキャンペーンに伴うシステム拡張といったイベントに応じて、ヤフーKaaSには、Kubernetesクラスタ利用の需要が絶えず生じています。私たちは、Kaa
![[SRE NEXT 2022]増大を続けるYahoo! JAPAN Kubernetesクラスタ群キャパシティ管理のモダン化](https://cdn-ak-scissors.b.st-hatena.com/image/square/dde9744ebb470971d5861a07dcdf22bca705c014/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F97ad2c8942364a9a8168dd0bf5a22a45%2Fslide_0.jpg%3F21512445)
インフラエンジニアBooks#10 近藤 誠司氏と読む「運用改善の教科書」
運用の考え方は「システム管理」から「サービス管理」へ ITIL4で変わってきた、運用者に求められること
Apache Ozoneをやっていた一年 - Preferred Networks Research & Development
Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks におけるHadoop – Preferred Networks Research で解説した基本的な要件は今でも変わっていませんが[2]、現在メインのシステムとして運用している Hadoop (HDFS) にはいくつかのシステム運用上の課題があります。たとえば、一番大きなHadoopクラスタは現時点で物理的に10PB近くのディスク容量を持っていますが、Ubuntu 16.04で動作しています。OSのバージョンアップを伴うクラスタのIn-placeなアップグレー
【インターンレポート】Kubernetes OperatorによるVerda Cloudの構成管理
はじめに こんにちは、電気通信大学 学部3年生の佐々木です。8/16から約6週間、技術職 就業型コースのインターンシップに参加しました。 私は、VRE(Verda Reliability Engineering)チームに配属され、Verda Resource Operatorの実装に取り組みました。 VerdaとVREチームについて VerdaとはLINEがもつPrivate Cloudのことです。 Verdaでは、物理サーバーをOpenStackによって管理し、様々なサービスをLINEの開発者に提供しています。 提供するサービス毎にチームが存在し、Kubernetes as a Serviceを提供しているチームもいれば、LoadbalancerやNATを提供しているチームもあります。 VREチームでは、そういったチームが開発や運用を効率化するための施策を横断的に行っています。 より詳細
MOCO - Kubernetes 用 MySQL クラスタ運用ソフトウェア - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズの Kubernetes 基盤を開発している Neco プロジェクトの ymmt です。 サイボウズ製品のほとんどはデータベースとして MySQL を採用しています。 現在 400 を越える MySQL のインスタンスを運用しており、これら全てを新しい Kubernetes 基盤に移行していく予定です。 Kubernetes 上でアプリケーションやミドルウェアの運用を自動化するソフトウェアのことをオペレーターと言います。 大量の MySQL インスタンスを Kubernetes 基盤に移行するにはオペレーターが必須であると考え、技術顧問の @yoku0825 さんの監修の下で MOCO というソフトウェアを開発しオープンソースライセンスで公開しました。 本記事では Kubernetes 上の MySQL オペレーターの状況と、開発した MOCO の機能を詳細に解説いたします。 M
最短で理解して運用するGrafana Loki - Enjoy Architecting
本記事について Lokiについてまったく知識のない状態の人にとって、1からキャッチアップしていくのは とても大変なことです。 特にLokiはマイクロサービスで構成されているため、何を知るべきなのかの全体像が見えにくいと思っています。 そのため、Lokiをまったく知らない状態から実際に運用検証を開始するために必要なインプットを体系的にまとめました。 具体的には下記の項目で整理します。 Lokiの機能 Lokiを構成するアーキテクチャ Lokiを構成するプロセス Lokiのモニタリング Lokiでのログのリテンション管理 Lokiのデプロイ Lokiでのデータキャッシュ Lokiのベストプラクティス ※前提として、Prometheusについての基本的な知識があれば本記事についてもすぐに理解できるかと思います。 1. Lokiの機能 Grafana Lokiとは？ Lokiは3大監視項目である、
Infrastructure as Code の静的テスト戦略 #DevOpsDaysTokyo / DevOpsDays Tokyo 2021
DevOpsDays Tokyo 2021 で使用したスライドです。 Infrastructure as Code を導入してみたはいいけれど、デプロイしてみたらなぜか上手く動かない。そんな経験はありませんか？ 本セッションでは、実際の環境を構築する「前」に、IaC のコード自体に対してテストを行う手法について解説します。 ご存知の通り Infrastructure as Code (IaC) は、インフラをコードで定義することを通し、アプリケーション開発のベストプラクティスをインフラ領域にも輸入しようとする方法論です。IaC の考え方は近年急速に普及し、開発フローの一部として種々の IaC ツールを利用することは半ば常識のような状態にあります。 しかし同時に、IaC は銀の弾丸ではありません。特に組織的な導入を考えようとすると、得てして「なぜか上手くいかない」「余計に運用が辛くなってしま
The ETTO Principle（効率-徹底性トレードオフ原則）とITシステムの運用
こんにちは、滝澤です。 今回は"The ETTO Principle"（効率-徹底性トレードオフ原則）について紹介します。ここでは「ETTO原則」と呼ぶことにしましょう。 ETTO原則はレジリエンス・エンジニアリングで著名なエリック・ホルナゲル氏（Erik Hollnagel）が提唱したもので、効率性（Efficiency）と徹底性（Thoroughness）はトレードオフの関係にあるというものです。 これは、元々は安全に関する分野での話ではあるのですが、IT分野においても無縁というわけではありません。そのあたりの話を紹介します。 本記事を3行でまとめると次のようになります。 ETTO原則により効率性と徹底性はトレードオフの関係にある。 ITシステムの運用の例として作業手順書作成の例を示し、効率性と徹底性のバランスを考える必要があることを示した。 システム障害と根本原因分析について紹介し、
SLO策定とアラート設定までの長い道のり - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、@ueokandeです。早速ですが、皆さんが運用しているサービスには、SLO (Service-level objective: サービスレベル目標) がありますか？アラートの監視項目はどのように設定して、基準値をどのように決めていますか？ 社外とのコミュニケーションだけでなく、社内向けのSLOを決めておくことで、サービスの健康状態を知るための手がかりや、普段の開発・運用タスクの優先度を決める上での指標にもなります。 またSLOがあると、サービスを監視するアラートに、理にかなった閾値を設定できます。 この記事ではAWS版kintoneの、SLOとアラートを設定するまでの記録について紹介します。 cybozu.com版kintoneのSLOとアラート 国内のcybozu.comで運用しているkintoneにも、もちろんSLOやアラートはあります。 しかし現状のSLOはkinton
Ansible、Terraform、Packerで作るSelf-Hosted Kubernetes / JKD1812
Ansible、Terraform、Packerで作るSelf-Hosted Kubernetes / JKD1812
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - projectnessie/iceberg-catalog-migrator: CLI tool to bulk migrate the tables from one catalog another without a data copy
大規模ゲームインフラとしての Kubernetes とノーメンテナンス運用
【CNDO2021】Calicoのデプロイをミスって本番クラスタを壊しそうになった話
Helm Chartリポジトリを2年半運用してわかったいろいろな話 - CloudNative Days Spring 2021 ONLINE #CNDO2021
