OCHaCafe Season7 の LT 資料です。 https://ochacafe.connpass.com/event/282817/
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの髙木(@TAKAyuki_atkwsk)です。普段はZOZOMATやZOZOGLASS、ZOZOFITなどの計測システムの開発・運用に携わっています。およそ2年ぶりのテックブログ執筆となりました。 さて、今回はCI/CD環境やKubernetesエコシステムのバージョン更新についてRenovateを使って楽しようという話をご紹介します。 CI/CDのワークフローや実行環境、Kubernetesを運用する上で導入するエコシステム1の多くはコード管理されています。そして、これらについてどのバージョンを使うかをコード上で指定することが多いです。しかし、コード化はされているもののバージョン更新まではなかなか手が回らなくなっており、どうにか解消したく取り組んだ話になります。 目次 はじめに 目次 背景や課題 バージョン更新のステップ
Certified Kubernetes Administrator (CKA) 取得記【エンジニアに役立つ資格】 2023年06月05日 月曜日 IIJ MVNO事業部の川崎と申します。 エンジニアブログへの寄稿は2回目でして、前回はNeural Networkをつかったいいね検出装置の紹介をしました。あれから数年、今やChatGPTをはじめとした(いわゆる)AI技術が栄華を極めており、時の流れとは早いものだなあと思う今日このごろです。 さて今回は「エンジニアに役立つ資格」という企画で再度寄稿の機会ができましたので、半年ほど前に合格したCertified Kubernetes Administrator (CKA) について投稿します。 ※ 本記事に記載している情報は、いずれも本ブログ執筆時点の情報である点をご留意ください CKAとは CKAとはLinux FoundationとClou
なぜABEMAは「サッカーW杯」を安定配信できた? 担当者が明かすリアーキテクチャ、サービスメッシュ導入とは:キャパシティーとスケール戦略の全貌 ABEMAの配信プラットフォームはAmazon Web ServicesとGoogle Cloudの特徴をそれぞれ生かしたクラウドネイティブなアーキテクチャで構成されている。2022年に開催された「FIFA ワールドカップ カタール 2022」の配信に当たって、安定配信を実現するためリアーキテクチャに取り組んだという。どのような取り組みだったのか。 「新しい未来のテレビ」として2016年に開局し、2022年には「FIFA ワールドカップ カタール 2022」(以下、ワールドカップ)を全64試合無料生中継を実施して知名度や人気が急上昇した「ABEMA(アベマ)」。配信時はデーリーアクティブユーザーが1700万人、ウイークリーアクティブユーザーが34
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 もう2年前のエントリになりますが、IIJがKubernetesの活用を始めたきっかけを紹介したのがこの記事でした。 ようこそ、Kubernetes沼へ。商用サービスSREの現場から このとき、「不安を感じることなく、確実にシステムをアップデートする手段をKubernetesがもたらしくてくれるものと期待して使い始めた」と書きました。今振り返ってみると、その効果は期待を上回るものでしたが、いい意味で予想と大きく異なっていたことが一つありました。それは、言い方が難しいのですが、Kubernetesが思った以上にコンフィグレ
Red Hat、ローカルマシンにコンテナとKubernetes環境などを構築する「Podman Desktop 1.0」正式リリース Red Hatは、ローカルマシンにLinuxのコンテナとKubernetes環境を手軽に構築できる「Podman Desktop 1.0」を正式リリースしました。 Windows、macOS、Linuxに対応し、デスクトップアプリケーションからコンテナエンジンのPodman、Docker、OpenShift Localなどを簡単にインストールでき、最新の状態に保つことができます。 コンテナの実行やKubernetesの操作など Podman Desktopの主な機能は以下の通り。 コンテナとポッド関連 コンテナとポッドのビルド、ラン、マネージ、デバッグ Kubernetes上もしくはKubernetesなしでのポッドの実行 内蔵のターミナル機能でコンテナへの
After using Azure Linux internally for two years and running it in public preview since October 2022, Microsoft this week finally made its distribution generally available. Azure Linux is an open-source container host OS for the Azure Kubernetes Service (AKS) that is optimized for Azure and aimed at making it easier for developers to use Microsoft's tools to deploy and manage container workloads.
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部 クラウドプラットフォーム本部の早川です。 私が所属する部署では、ヤフー社内のサービス開発者向けのプライベートクラウドを開発、運用しています。昨年の後半頃から「Platform Engineering」という言葉が聞かれるようになってきていますが、私たちは以前から、その理念に近い取り組みを行っています。 本記事では、「Platform Engineering」の概要と、私たちがKubernetesを活用して実現しているプラットフォーム開発、運用の取り組みについて詳しく紹介します。私たちの経験と知見が、これからプラットフォームの開発に取り組む皆様の一助になれば幸いです。 Platform Engineer
Impact, chronology, and responseIncident and impactStarting on March 8, 2023, at 06:03 UTC, we experienced an outage that affected the US1, EU1, US3, US4, and US5 Datadog regions across all services. When the incident started, users could not access the platform or various Datadog services via the browser or APIs and monitors were unavailable and not alerting. Data ingestion for various services w
これまで GitHub Actions のセルフホストランナーは、ローカルの PC や VM に構築するものでした。そのため、CI/CD ワークフローの実行時に Runner 用のマシンをプロビジョニングしてワークフロー終了時にマシンを破棄するということが難しく、常に起動状態にしておく必要がありました。
23新卒技術研修で実施しコンテナ研修の講義資料です。 動画:https://youtu.be/Dk0isJQ6a80 資料の続き(Kubernetes編): https://speakerdeck.com/mixi_engineers/2023-container-training-number-02-kubernetes ※ハンズオン環境は提供していないので、ハンズオンを実際に試していただくことはできません。 資料の利用について 公開している資料は勉強会や企業の研修などで自由にご利用頂いて大丈夫ですが、以下の形での利用だけご遠慮ください。 ・受講者から参加費や授業料などを集める形での利用(会場費や飲食費など勉強会運営に必要な実費を集めるのは問題ありません) ・出典を削除または改変しての利用
23新卒技術研修で実施しコンテナ研修(Kubernetes編)の講義資料です。 動画:https://youtu.be/Dk0isJQ6a80 こちらは後編になります。前編はこちら:https://speakerdeck.com/mixi_engineers/2023-container-training-number-01 ※ハンズオン環境は提供していないので、ハンズオンを実際に試していただくことはできません。 資料の利用について 公開している資料は勉強会や企業の研修などで自由にご利用頂いて大丈夫ですが、以下の形での利用だけご遠慮ください。 ・受講者から参加費や授業料などを集める形での利用(会場費や飲食費など勉強会運営に必要な実費を集めるのは問題ありません) ・出典を削除または改変しての利用
PodのResource設定(spec.containers.resources)はこうあるべき、みたいなふんわりとしたイメージが自分の中であるのですが言語化できていないのでしていきたいと思います。 なお、この記事の内容は運用するKubernetes上には自分たちが運用するサービスに関するコンテナのみが載っている前提です。 不特定多数のユーザーのコンテナが載る際はまた別の考えになると思います。 あとこの記事の内容は僕個人の考えです。 TL;DR CPU requests 必要。コンテナを動かすために必要な値を設定してね。低すぎちゃだめよ。 limits 不要。でも場合によっては必要だよ。 Memory requests 必要。コンテナを動かすために必要な値より少し余裕を持って設定してね。 limits 必要。requestsと同じ値にしてね。 1. CPU 1-1. requests 必ず
マルチクラスタ戦略を無邪気に採用するとどうなるか 夏のAWS Kubernetes 祭り! - 2022/08/04 2 髙田 颯 Takada Soh freee株式会社 プロダクト基盤本部 SRE Platform team 経歴 2020年5月~ 人事労務freee開発 2021年4月 新卒入社 2021年7月~ SRE お悩み Kubernetesにバグ修正のPRを4月に 送ったものの途中から返信がなく悩み中 マルチクラスタ戦略を 無邪気に採用するとどうなるか 4 (運用が)爆発します。 マルチクラスタ戦略を無邪気に採用するとどうなるか 5 何が爆発したのか freeeのcluster運用の歴史 現在の戦略 マルチクラスタ(シングルテナント) EKS version blue/green upgrade インフラの運用を丸ごと引き受けるSRE 改善の取り組み upgrade方式の整
俳句bot (nostr) nostr の日本リレーを監視し、投稿を 575 または 57577 判定し、引用でお知らせする。狙った俳句ではなく、天然物の俳句がマッチするとウケが良い。 Go で実装。内部では go-haiku を使って俳句を判定。監視は日本語の投稿が流れる日本のリレーをお借りしている。普通の Go アプリなので golan:1.20-alpine でビルドして scratch でイメージ作成。 # syntax=docker/dockerfile:1.4 FROM golang:1.20-alpine AS build-dev WORKDIR /go/src/app COPY --link go.mod go.sum ./ RUN apk add --no-cache upx || \ go version && \ go mod download COPY --link
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ ArgoCDのアーキテクチャを構成するコンポーネントの種類について ArgoCDがマニフェストを自動デプロイする仕組みについて この記事から得られる知識 01. はじめに 02. 概要 アーキテクチャ レイヤー コンポーネント 仕組み (1) repo-serverによるクローン取得 (2) application-controllerによるマニフェスト取得 (3) application-controllerによるCluster確認 (4) application-controllerによる処理結果保管 (5) argocd-serverによるキャッシュ取得 (6) 管理者のログイン (7) IDプロバイダーへの認証フェーズ委譲 (8) dex-serverによる認証リクエスト送信 (9) argocd-s
JavaでKubernetesを拡張できる「Java Operator SDK」が、Operator Frameworkの正式なサブプロジェクトに Kubernetesには「Operator」と呼ばれる、Kubernetesの機能を拡張する仕組みが備わっています。 Operatorを用いると、Kubernetes上のアプリケーションの運用自動化などが可能になります。例えばオラクルは2022年に、このOperatorを用いてMySQLの運用自動化を実現する「MySQL Operator for Kubernetes」をオープンソースで公開しています。 参考:MySQLの運用をコードで定義し大幅に自動化する「MySQL Operator for Kubernetes」がオープンソースで公開[PR] また、Operatorのリポジトリである「OperatorHub.io」には300以上のオペレー
LinuxカーネルをフックするeBPFによるサービスメッシュを、Kubernetesに加えてVMやパブリッククラウドまで拡大する「Cilium Mesh」が登場 Linuxのカーネルをフックする「eBPF」(extended Berkeley Packet Filter)と呼ばれる仕組みを用いてサービスメッシュを構成する「Cilium」などを開発するIsovalentは、Kubernetesだけでなく仮想マシンやパブリッククラウドまでをカバーするサービスメッシュを実現する「Cilium Mesh」を発表しました。 Introducing Cilium Mesh. Cilium & eBPF powered networking, security, and observability for VMs, servers, and existing networks across cloud,
Amazon Web Services ブログ Amazon EKS で CNI カスタムネットワーキングと Pod セキュリティグループを活用する この記事は Leveraging CNI custom networking alongside security groups for pods in Amazon EKS (記事公開日: 2022 年 8 月 19 日) を翻訳したものです。 はじめに Amazon Elastic Kubernetes Service (Amazon EKS) は、独自の Kubernetes コントロールプレーンやノードを構築、運用、保守することなく、AWS 上で Kubernetes を実行できるマネージドサービスです。Amazon EKS は、Amazon VPC Container Network Interface (CNI) プラグインを使用
「Pulumi AI」発表。自然言語でAWS、Azure、Cloudflare、Kubernetes、Datadogなど130以上のインフラやサービスのInfra-as-Codeを自動生成 クラウドをはじめとするITインフラの構成をコードで定義する、いわゆるInfrastructure as Codeツール「Pulumi」を提供するPulumi社は、自然言語からインフラ構成コードを自動生成する「Pulumi AI」を含む、AIを活用した新サービス群「Pulumi Insights」を発表しました。 Exciting news! Pulumi Insights - intelligence for cloud infrastructure – is here. We’ve tapped into the power of generative AI and GPT-4 to automate
はじめまして、ACS 事業部の埜下です。 みなさんは Kubernetes のシークレットはどのように管理されていますか? 先日、HashiCorp 社から「Vault Secrets Operator」がプレビュー公開されました。 また、2023/2 には HCP Vault on Azure が GA しました。 そこで、今回はシークレット管理についてお伝えしつつ、Vault Secrets Operator と HCP Vault on Azure を組み合わせたシークレット管理の動作確認の内容についてもお伝えします。 はじめに シークレット管理の必要性 Vault Secrets Operator について HCP Vault on Azure について 今回の目的 前提条件 環境構築 HashiCorp Virtual Network 作成 Azure VNet ピアリング HV
はじめに こんにちは、ACS事業部の谷合です。 Kubernetesリソースのトラブルシュートは難しいと感じたことはないでしょうか? 特にKubernetesビギナーの方であれば、最初何をどうすれいいか戸惑う方も多いかと思います。 そこでそんなトラブルシュートの際にAIの力を借りれるK8sGPTなるツールを見つけましたので、 ご紹介します。 github.com K8sGPTはAI providerであるOpenAIと連携でき、Kubernetesリソースの分析をAIに任せることが できるCLIツールです。なお、現在は以下のリソースのBuilt in analyzerが提供されています。 このリストにないリソースについては自前でanalyzerを書く必要があります。 Enabled by default podAnalyzer pvcAnalyzer rsAnalyzer serviceA
はじめに 今回の記事では、PythonやRuby等の他の技術には触れているものの、Kubernetesについては初心者であるプログラマーを対象に、Kubernetesを徹底解説する。 Kubernetesとは Kubernetes(通称「k8s」)とは、コンテナ化したアプリケーションのデプロイ、スケーリングや管理を行うためのオープンソースのプラットフォームである。Dockerと同様にGo言語で開発されており、2023年現在において、Dockerと双璧をなすコンテナ技術として利用されている。 Kubernetesが開発された経緯 Kubernetesは、コンテナ化されたアプリケーションを大規模にデプロイし管理するという課題に対処するために開発された。Kubernetesが開発される以前は、コンテナを大規模にデプロイし管理することは、複雑で手動のプロセスであり、多くの労力と専門知識が必要だった
EKS上でKubecostの検証 初めまして、今回 RECRUIT Job for Student 2022 Autumn Engineer に参加させていただいていた@masaki12-sです。 私は本アルバイトでスタディサプリ小中高のSREチームに配属され、Kubecostと呼ばれるツールの調査を行いました。本記事ではEKS上でのKubecostの導入から調査の結果を軽くまとめています。 本記事での貢献 EKS上へのKubecostの導入方法(Cost&Usage Report統合は未完了) Kubecostの概要や詳細についての説明 調査のきっかけ スタディサプリ小中高では複数のマイクロサービスで構成されていて、各チームがそれぞれマイクロサービスを開発運用しています。 開発運用をしていく中で各チームがマイクロサービスにかかるコストを把握することができれば、どの部分でコストが発生してい
Kubernetes 1.26 時点の話で、以降のマイナーバージョンで改善されている可能性があります。 Kubernetes には、ワークロードの正常性を確認するための Probe という仕組みがあり、Liveness / Readiness / Startup Probe が用意されています。kubelet (Kubernetes のノード上で動作するエージェント) は、ワークロードに対して TCP Socket / HTTP GET / gRPC / Exec の中から指定されたチェックを定期的に実行します。 それぞれの Probe の特性を理解して使い分けないとサービスに影響することがあります。本記事では、Probe の仕組みと考慮すべき点について紹介します。 Probe の仕組み Exec と TCP Socket / HTTP GET / gRPC の Probe の仕組みは異な
開発者を「顧客」として捉え、生産性を向上させるPlatform Engineering リリースと改善を高頻度で回す最近のITシステム開発。何かあってもすぐに修正できることで、品質と安定性を担保することへの精神的負担から少し解放され、場合によっては評価にもつながったハッピーな開発者も少なくないだろう。一方で、運用周りを考える必要が生じるなど責任範囲が広がり、ツールやスキルで習得すべきものも増加。開発そのものに集中しづらく、いろいろなことをカバーする必要があることからスーパーマン以外が活躍しづらいという課題も浮上している。 そこで登場したのが、Internal Developer Platform(IDP)だ。IDPは、開発者を「顧客」として捉え、開発により集中できる環境を整えることを目的とした基盤のことだ。IDPを運用開発するのは、専任チームだ。開発に関わる基本的な作業を自動化やセルフサー
本文の内容は、2023年4月4日に VÍCTOR JIMÉNEZ CERRADA が投稿したブログ(https://sysdig.com/blog/kubernetes-1-27-whats-new)を元に日本語に翻訳・再構成した内容となっております。 Kubernetes 1.27がリリースされようとしていますが、目新しいものが満載です!何から始めましょうか? 今回のリリースでは、Kubernetes 1.26の37、Kubernetes 1.25の40から大幅に増えて、60の機能強化が行われました。この60の機能強化のうち、12はStableへの移行、29は改善を続ける既存機能、18は完全に新しい機能、そして1つは非推奨の機能となっています。 このバージョンでは、すべての非推奨と削除に注意してください! このリリースの主なハイライトは、実際はKubernetesの外側にあります。イメー
Podman in Action Red Hatでソリューションアーキテクトをしている田中司恩(@tnk4on)です。 Red Hat Developerから無償で入手できる電子書籍「Podman in Action」(以下、本書)についてご紹介します。 本書はコンテナの基礎からPodmanを利用した高度な使い方、またコンテナセキュリティまで網羅的に解説されています。 コンテナに興味のある人全員に必読の内容なのですが、英語であることとその思想的背景について理解が無いと少し分かりづらい部分があります。 そこで、本記事では書籍冒頭にあるロードマップをベースに少し解説を加えて、読み進めるためのガイドとなることを目指します。 (注意:本記事の内容は独自に解説したもので、公式なものではない点ご了承下さい) 本書は下記URLより入手が可能です(PDFのダウンロードにはRed Hatアカウントの作成が必
Istioは、サービスメッシュを実現する新たな仕組みとして試験的に開発していた「Ambient Service Mesh」をメインブランチに統合し、正式な機能として組み込んで行く方針であることを発表しました。 現在のIstioは、各サービス(≒KubenetesのPod)ごとにプロキシを配置し、サービス間のネットワークをプロキシ経由で構成することによってサービスメッシュを構築しています。これによりサービス間の通信のトラフィックコントロール、暗号化、可観測性(オブザーバビリティ)などの機能が実現されるわけです。 この仕組みは、サービスの隣にプロキシを配置することから、「サイドカー」パターンなどと呼ばれています。 しかしPodごとにサイドカーをデプロイする必要があるため、これにかかる手間やリソースの消費が課題でした。 eBPFを用いたサイドカーフリーなCiliumへ注目が集まる そうした中で最
はじめに ArgoCDを構成するコンポーネントについて ArgoCDのログ量問題に直面した背景 ロギングライブラリが複数あることによる苦労 ログレベルを調整した結果 おわりに はじめに インフラストラクチャーグループの @mom0tomo です。普段はマッハバイトのクラウド移行に取り組んだり、コーポレートサイトのCSS/JSと格闘したりしています。最近、少しずつ転職会議のKubernetes運用にも関わるようになりました。 転職会議では、KubernetesクラスターへのCI/CDツールとしてArgoCDを利用しています。 made.livesense.co.jp ArgoCDにはGUIがあるためアプリケーション開発者も親しみやすいなど利点が多いのですが、デフォルトで出力されるログが多く、必要以上にログデータを生成してしまうと言う問題がありました。とくにDatadogのようなログ分析ツール
Docker一強の終焉にあたり、押さえるべきContainer事情 を読んで漠然とDockerが終わるって思った人、素直に手をあげてください。別にDockerは終わりません。なんかむしろWASMとかんばるぞって息巻いてて可愛いので頑張って欲しいと個人的には考えています。 その昔、Kubernetes 1.20からDockerが非推奨になる理由 - inductor's blog を書いたら炎上しました。最初の記事の書き方が良くなかったという反省はあるにせよ、世間一般で「Dockerは開発環境で使うやつ」という認識があまりにも広がりすぎているというのが良くわかる勉強の機会になりました。 逆を言うと、みなさんがこれらの記事を読む時には、Dockerという言葉に含まれる意味に注意して読んでいただきたいと思っています。Dockerには大きく分けて以下の意味が含まれると僕は考えています。 Docke
章立て はじめに Docker・Container型仮想化とは Docker一強時代終焉の兆し Container技術関連史 様々なContainer Runtime おわりに 1. はじめに Containerを使うならDocker、という常識が崩れつつある。軽量な仮想環境であるContainerは、開発からリリース後もすでに欠かせないツールであるため、エンジニアは避けて通れない。Container実行ツール(Container Runtime)として挙げられるのがほぼDocker一択であり、それで十分と思われていたのだが、Dockerの脆弱性や消費リソースなどの問題、Kubernetes(K8s)の登場による影響、containerdやcri-o等の他のContainer Runtimeの登場により状況が劇的に変化している。本記事では、これからContainerを利用したい人や再度情報
こんにちは。サイバーエージェントの杉浦です。 連載「5分でわかる!Kubernetes/CloudNative Topics」の第6回は、オブザーバビリティに注目して、Kubernetesにおける継続的プロファイリングについて取り上げます。 オブザーバビリティとプロファイル 安定してサービスを提供するためには、デプロイしたアプリケーションの状態を継続的に観測し、不具合やその予兆を察知・対処していく必要があります。 アプリケーションの状態を観測する能力をオブザーバビリティ(Observability[1])といいます。このオブザーバビリティを確保するにあたってどのようなデータを用意すべきか、従来ではメトリクス・トレース・ログの3つを柱とすべきだとされていました。 それぞれメトリクスはCPU使用率やメモリ使用量といった時系列の数値データ、トレースは個々のアプリケーションを伝播する特定のリクエス
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. Authors: Craig Box (ARMO), Ben Hirschberg (ARMO) Admission control is an important part of the Kubernetes control plane, with several internal features depending on the ability to approve or change an API object as it is submitt
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く