並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 2747件

新着順 人気順

Kubernetesの検索結果41 - 80 件 / 2747件

  • SREエンジニアが目指すGKE共通デプロイ基盤の完成形 - ぐるなびをちょっと良くするエンジニアブログ

    こんにちは。開発部門 開発部 Data AI Strategyセクション データ基盤 Unitの小野です。 2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、DAOという組織改善プロジェクトを推進していく中で、Google Kubernetes Engine (GKE)を使ったGKE共通デプロイ基盤の整備も進めてきました。 ※ DAOについての詳細はSREエンジニアが組織改善プロジェクトを立ち上げてみたを参照ください SREエンジニアの責務の一つは、プロダクトのリリースサイクルを極限まで短くし、次々と新しいサービスを世の中にリリースすることです。ChatGPTのような誰でも簡単に扱えるAIモデルが誕生したことで、プロダクト開発競争は今後ますます激しくなっていくと予想しており、SREエンジニアの責務の重要性をヒシヒシと感じています。 そう

      SREエンジニアが目指すGKE共通デプロイ基盤の完成形 - ぐるなびをちょっと良くするエンジニアブログ
    • Dockerとruncに4つの脆弱性が見つかる 悪用でホストOSにアクセスされるリスク

      Dockerとruncに潜む4つのセキュリティリスク Snykが警鐘 Leaky Vesselsは4つの脆弱性で構成されており、これらを悪用された場合、サイバー攻撃者がコンテナを抜け出してホストOSにアクセスする可能性がある。これらの脆弱性の中には深刻度が「緊急」(Critical)と分類されるものが含まれているため、該当プロダクトを使用している場合は情報を確認するとともに、必要に応じて対処することが求められる。 Leaky Vesselsを構成する脆弱性の詳細は以下の通りだ。 CVE-2024-21626: 内部ファイル記述子の漏えいによって新しく起動したコンテナプロセスにおいて、ホストのファイルシステム名前空間内の作業ディレクトリを保持できる脆弱性。これを悪用した場合、ホストファイルシステムへの不正アクセスやコンテナ環境からの脱走が可能になる CVE-2024-23651: 同じキャッ

        Dockerとruncに4つの脆弱性が見つかる 悪用でホストOSにアクセスされるリスク
      • 人間によるKubernetesリソース最適化の”諦め”とそこに見るリクガメの可能性 | メルカリエンジニアリング

        Platformチームでエンジニアをしているsanposhihoです。メルカリのPlatformチームでオートスケーリング周りの課題の解決を担当しており、Kubernetes UpstreamでもSchedulingやAutoscaling周りの開発に参加しています。 メルカリでは全社的にFinOpsに取り組んでおり、Kubernetesリソースは最適化の余地があるエリアです。 メルカリではPlatformチームとサービスの開発チームで明確に責務が分かれています。Platformではサービス構築に必要な基礎的なインフラストラクチャを管理し、それらを簡単に扱うための抽象化された設定やツールなどの提供を行っています。サービスの開発チームは、それらを通してサービスごとの要件に応じたインフラストラクチャの構築を行います。 サービスやチームの数も多く、そのような状況での全社的なKubernetesリ

          人間によるKubernetesリソース最適化の”諦め”とそこに見るリクガメの可能性 | メルカリエンジニアリング
        • Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog

          はじめまして。Gaudiyでエンジニアをしているあんどう(@Andoobomber)です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on

            Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
          • Kubernetesクラスタの可観測性の隙間を埋めるeBPF - LIFULL Creators Blog

            KEELチームの相原です。 今回はeBPFを利用してKubernetesクラスタの可観測性の隙間を埋めている話です。 前回のエントリではLLMにうつつを抜かしていたので本業(?)の話をしようと思います。 www.lifull.blog LIFULLの可観測性の現在地 eBPFとは 可観測性の隙間 NAT Loopback eBPFを実行するには BPF CO-RE libbpf-rsを利用したNAT Loopbackの検知 1. (ユーザ空間) コマンドライン引数として受け取ったDNSをTTLごとに名前解決してIPアドレスを取得する 2. (ユーザ空間) IPアドレスに変化がある度にカーネル空間で動くBPFプログラムにそのIPアドレスのリストを渡す 3. (カーネル空間) Kprobesで tcp_v4_connect/tcp_v6_connect にフックを仕込む 4. (カーネル空間)

              Kubernetesクラスタの可観測性の隙間を埋めるeBPF - LIFULL Creators Blog
            • Kubernetes、やめました | 外道父の匠

              最近 Kubernetes 全然触ってねーなって思ってたところに、『6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない?となった話 – データエンジニアの酩酊日記』を見つけて、自分と異なる立場によるコンテナシステムへの感想を興味深く読ませていただきました。 Kubernetes を推す人がいる一方で、ここには昨夏『Kubernetes、はじめました』と言っておきながら今年に入って全然触らず、ECSを使ったシステムばっか手掛け、Kubernetes いらなくね?って思う人もいるわけで。これはいったいどういうことでしょう、と雑感タイムです。 どうしてコンテナシステムで迷うのか 最初に断っておきたいのは、以下 Kubernetes を否定したり腐すような意図は全くなく、なんでやろ?って自身に問いかけた私見です。やめました、と言ってもウチで今も使っ

                Kubernetes、やめました | 外道父の匠
              • 人間によるKubernetesリソース最適化の”諦め” そこに見るリクガメの可能性

                Kubernetes活用の手引き 私たちの基盤構築・運用事例 Lunch LT https://findy.connpass.com/event/307447/

                  人間によるKubernetesリソース最適化の”諦め” そこに見るリクガメの可能性
                • そこまで大規模じゃない EKS環境を(あまり)頑張らずに 最新化し続けたい / FamilyAlbum EKS Continuous Improvement

                  Kubernetes活用の手引き 私たちの基盤構築・運用事例 Lunch LT https://findy.connpass.com/event/307447/

                    そこまで大規模じゃない EKS環境を(あまり)頑張らずに 最新化し続けたい / FamilyAlbum EKS Continuous Improvement
                  • AIにプログラミング作業を奪われている - k0kubun's blog

                    せっかく10年以上かけて学んだプログラミングだが、人間がコード書くよりChatGPTにやらせた方が早いなということが度々あり、だんだん自分でプログラミングをやる時間が減ってきた。AIにコードを書かせてそれをGitHubにコピペして残りの時間は遊んでるだけで成果が出てお給料ももらえる日は近いし、段々会社もそのことがわかってきて失職する日も近い。 残念ながら現時点では全ての仕事がAIで上手くいくわけではないが、どういう時に使えるかを知っておくと楽をしやすくなるので、僕がどう使っているかをまとめておく。 失職できるケース 簡単なスクリプトを高速に書かせる 僕はRubyが全ての言語の中で一番慣れており、StackOverflowやドキュメントをほぼ見ずに大抵のプログラムを書き切れるため、Rubyを書いている時がプログラマとして一番生産性が高いのだが、それでも最近AIにRubyを書かせたことがあった

                      AIにプログラミング作業を奪われている - k0kubun's blog
                    • 【Security Hub修復手順】[EKS.1] EKS クラスターエンドポイントは、パブリックアクセス可能であってはなりません | DevelopersIO

                      こんにちは、AWS事業本部の平井です。 皆さん、お使いのAWS環境のセキュリティチェックはしていますか? 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介します。 本記事の対象コントロール [EKS.1] EKS クラスターエンドポイントは、パブリックアクセス可能であってはなりません [EKS.1] EKS cluster endpoints should not be publicly accessible 前提条件 本記事はAWS Security Hubで「AWS基礎セキュリティのベストプラクティススタンダード」を利用されている方向けの内容です。 AWS Security Hubの詳細についてはこちらのブログをご覧ください。 コントロールの説明 本コントロールは、EKSクラスターエンドポイントが、パ

                        【Security Hub修復手順】[EKS.1] EKS クラスターエンドポイントは、パブリックアクセス可能であってはなりません | DevelopersIO
                      • Go製CLIツールGatling Commanderによる負荷試験実施の自動化 - ZOZO TECH BLOG

                        はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは機械学習モデルの実験基盤の作成、機械学習モデルを組み込んだAPI・Batchの開発・運用・保守を行なっています。APIを開発する際には負荷試験を実施し、本番環境で運用する際に求められるスループット・レイテンシを達成できるか確認します。 MLOpsブロックでの従来の負荷試験実施には人手を要する定型的な作業が複数ありました。また頻繁に行う作業でもありトイルとなっていました。 本記事ではMLOpsブロックで抱えていた負荷試験実施の課題と、解決のために開発したOSSのCLIツール、Gatling Commanderについて紹介します。Gatling Commanderが負荷試験の実施におけるトイル削減の一助になれば幸いです。 github.com 目次 はじめに 目次 背景・課題 従来の負荷試験実施の方法 分

                          Go製CLIツールGatling Commanderによる負荷試験実施の自動化 - ZOZO TECH BLOG
                        • 【Istio⛵️】Istioによって抽象化されるEnvoyのHTTPSリクエスト処理の仕組み - 好きな技術を布教したい 😗

                          この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ Istioのサイドカーメッシュを題材にしたEnvoyの設定の抽象化について 様々なサービスメッシュツール (特に、Istio、Consul、Cilium、など) でも流用できるEnvoyの知識について この記事から得られる知識 01. はじめに 02. 様々なリソースによるEnvoy設定の抽象化 サービスメッシュ外からのHTTPS マイクロサービス間のHTTPS サービスメッシュ外へのHTTPS 03. istio-proxyコンテナによるHTTPS処理 Istioコントロールプレーンの仕組み サービスメッシュ外からのHTTPS マイクロサービス間のHTTPS サービスメッシュ外へのHTTPS 04. EnvoyによるHTTPS処理 Envoyの設定の種類 フィルター フィルターの一覧 フィルターチェーンの仕

                            【Istio⛵️】Istioによって抽象化されるEnvoyのHTTPSリクエスト処理の仕組み - 好きな技術を布教したい 😗
                          • AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠

                            これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス:ALB or ECS Service 共有 or 1環境毎 アクセスログ:ALB or WEBサーバー ECS / EKS デプロイ:Blue/Gr

                              AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
                            • Create an Azure OpenAI, LangChain, ChromaDB, and Chainlit chat app in AKS using Terraform

                              In this sample, I demonstrate how to quickly build chat applications using Python and leveraging powerful technologies such as OpenAI ChatGPT models, Embedding models, LangChain framework, ChromaDB vector database, and Chainlit, an open-source Python package that is specifically designed to create user interfaces (UIs) for AI applications. These applications are hosted in an Azure Kubernetes Servi

                                Create an Azure OpenAI, LangChain, ChromaDB, and Chainlit chat app in AKS using Terraform
                              • メンテのいらないソフトウェア - 誰かの役に立てばいいブログ

                                ソフトウェアエンジニアとして働き始めて 20 年以上になります。 元々ソフトウェアでいろいろ作りたくて就いた職業なので、結構な数のプロダクトを開発してきました。 私がメインで開発したもので OSS として出ているものでは、 yrmcds: memcached クローンで、レプリケーション機能などを持つ usocksd: SOCKS4/5 サーバー & ライブラリ transocks: アプリのネットワーク通信を透過的に SOCKS サーバーにプロキシする透過プロキシ coil v2: Kubernetes の CNI ネットワークドライバ moco: MySQL を自動運用する Kubernetes オペレーター accurate: Kubernetes 上で namespace ベースのソフトマルチテナンシーを実現するためのソフトウェア などがあります。これらのソフトウェアの多くは、現役

                                  メンテのいらないソフトウェア - 誰かの役に立てばいいブログ
                                • 開発者が注意すべき「マイクロサービスの問題点」、そのトップ10を解説

                                  「Docker」と「Kubernetes」をベースとする環境で構築されたクラウドネイティブアーキテクチャが流行している。クラウドネイティブと相性の良いマイクロサービスには、次のような利点がある。 サービスごとに、アーキテクチャ、言語、プロセス、ツールを自由に選択できる ドメイン駆動型設計やイベント駆動型アーキテクチャなど、ソフトウェアコンポーネントで長年提唱されてきた多くのベストプラクティスが体系化されている 適切にカプセル化されているため、サービスを個別に更新できる 柔軟性が高く、短期間でのリリースが可能 マイクロサービスに対応した技術(DockerやKubernetesなど)は多くのハードウェアで動作する マイクロサービスはこうしたさまざまなメリットをもたらす。一方で、幾つかの重要な問題点があるため、アプリケーション開発チームは注意する必要がある。特に、信頼性の高いモノリスアプリケーシ

                                    開発者が注意すべき「マイクロサービスの問題点」、そのトップ10を解説
                                  • コンテナって何?(Kubernetes入門)

                                    初心者むけK8sハンズオンの補助資料です https://qiita.com/minorun365/items/0441e4878f0984a9fc0a

                                      コンテナって何?(Kubernetes入門)
                                    • カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ

                                      カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン(以下、カプコン)。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging

                                        カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
                                      • 開発者ポータル Backstage とは - Carpe Diem

                                        背景 開発チームが抱えるよくある課題として システムが変化する一方でドキュメントは更新されず腐る メンバーの流入出によって口伝でかろうじて継承された知見も失われる 検索性が良くないと過去のドキュメントが気づかれず、同じような内容のドキュメントが新規量産される 後から参加したメンバーはどちらが正のドキュメントか分からず混乱する といったことが良くあります。 解決方法としては以下のように、GitHub&ルールベースで管理するといった例があります。 future-architect.github.io また組織・システムが大きくなってくると認知負荷を低減するためにドメインで区切るような形でチームの分割が始まりますが、 異なるチームによってシステムが管理され、システムの依存関係を全て知っている人がいなくなる CxOレイヤが大規模イベント前に現状を把握したいときに都度時間がかかってしまう チームごと

                                          開発者ポータル Backstage とは - Carpe Diem
                                        • GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG

                                          はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールであるAirbyteを導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次 はじめに 目次 背景 Airbyte OSS Connectorの豊富さ ETLではなくEL(T) コミュニティが活発 GCP上でAirbyteを構築 全体構成 Terraform Kubernetesのマニフェスト KubernetesのSecret Kubernetesのデプロイ 工夫した点 GKE上での構築 Airflowによるスケジュール実行 MinIOを用いない PVCのAccessModeの変更 ServiceAccoun

                                            GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG
                                          • Kubernetesに対する理解を高めてKubernetesの「わからない」を減らそう

                                            Kubernetes Novice Tokyo #29 で発表したLT資料です イベントURL: https://k8s-novice-jp.connpass.com/event/300438/ 動画URL: https://www.youtube.com/watch?v=WZHDlB8P9_4 参考資料: https://github.com/kubernetes/kubernetes/tree/v1.28.4 https://github.com/coredns/coredns/tree/v1.11.1 https://github.com/coredns/example https://github.com/coredns/coredns/blob/v1.11.1/plugin/kubernetes/README.md https://github.com/kubernetes/dn

                                              Kubernetesに対する理解を高めてKubernetesの「わからない」を減らそう
                                            • GitHub - cloudnativedaysjp/cndt2023-handson: 『一日で学ぶクラウドネイティブ技術実践ハンズオン』by CloudNative Days Tokyo 2023 実行委員会のドキュメントです。

                                              You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                GitHub - cloudnativedaysjp/cndt2023-handson: 『一日で学ぶクラウドネイティブ技術実践ハンズオン』by CloudNative Days Tokyo 2023 実行委員会のドキュメントです。
                                              • Kubernetes Jobでサイドカーを動かす際の問題と解決策 - でこてっくろぐ ねお

                                                UbieでSREをしているdekokunです。この記事は Ubie Engineering Advent Calendar 2023 の 21 日目の記事です。 導入 Kubernetes (k8s) のワンショットのJobにサイドカーを組み合わせると、様々な問題が生じることがあります。Ubie社には、複数の言語で書かれた多数のマイクロサービスが存在します。そしてご多分にもれず、複数マイクロサービスの共通課題をインフラレイヤで管理するためにIstioやCloud SQL Proxy、AlloyDB Auth Proxyなどを使用しています。 この記事では、それらサイドカーをJobと共に使用する際に直面する問題と、世の中でよく語られている解決策、および条件付きながら私たちがどのようにこれらの問題を解決しているのかについて解説します。 k8s Job + サイドカーで発生する問題 かつての私は

                                                  Kubernetes Jobでサイドカーを動かす際の問題と解決策 - でこてっくろぐ ねお
                                                • 4年以上待ってたEKSの改善がようやく出てきた件 - inductor's blog

                                                  はじめに これは、Kubernetesアドベントカレンダー2の20日目の記事です。 これの話です。 aws.amazon.com ただし俺はもうEKS全然使ってないから意味ない件😢 なんの話? 待ってたとは 4年前に、AWSでコンテナ使ってる人ならお馴染みのaws/containers-roadmapにこんなIssue(もとい、Feature Request)を作りました。 github.com また、これに関連するIssueとしてはその半年ほど前に作られていて github.com 自分としてはこのIssueを立てる前から技術選定の時点でずっと悩んでいたポイントだったので、かれこれ5年近く待っていたことになります。ようやくリリースされて本当によかった。まあ今はいらないんだけど、、、 どんな内容か これまでのEKSの課題点 EKSでクラスター管理者や運用者を指定する上で欠かせないのが、K

                                                    4年以上待ってたEKSの改善がようやく出てきた件 - inductor's blog
                                                  • A deep dive into simplified Amazon EKS access management controls | Amazon Web Services

                                                    Containers A deep dive into simplified Amazon EKS access management controls Introduction Since the initial Amazon Elastic Kubernetes Service (Amazon EKS) launch, it has supported AWS Identity and Access Management (AWS IAM) principals as entities that can authenticate against a cluster. This was done to remove the burden—from administrators—of having to maintain a separate identity provider. Usin

                                                      A deep dive into simplified Amazon EKS access management controls | Amazon Web Services
                                                    • EKSコンテナ移行のトラブル事例:FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blog

                                                      こんにちは!SREグループ コンテナ化推進チームの楠本です。 EKSへのコンテナ移行では、これまで紹介した記事以外にも様々なトラブルがありました。 EKSコンテナ移行のトラブル事例:ALBの設定とPodのライフサイクル管理 - MonotaRO Tech Blog EKSコンテナ移行のトラブル事例:推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog 今回のトラブルでは、コンテナ移行に伴ってSLOが未達状態になりエラーバジェットを急激に消費してしまいました。 その対策としてマルチAZ間の通信遅延の解消をEKS on Fargateで実施したお話をご紹介します。 先に断っておくと私自身がアプリケーション開発者だったため、 インフラの話は都度インフラの方からサポートを受けながら対応しました。そのためズレている点などあればご了承ください。 VMからEKS on

                                                        EKSコンテナ移行のトラブル事例:FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blog
                                                      • Introducing Fly Kubernetes

                                                        Introducing Fly Kubernetes Author Name Senyo Simpson @senyeezus @senyeezus Image by Annie Ruygt We’re Fly.io, and if you’ve been following us awhile you probably just did a double-take. We’re building a new public cloud that runs containerized applications with virtual machine isolation on our own hardware around the world. And we’ve been doing it without any K8s. Until now! We’ll own it: we’ve be

                                                          Introducing Fly Kubernetes
                                                        • リソース制限をかけたKubernetes Podの中でhtopをしてもホスト上のリソースが表示されるのはなぜか - inductor's blog

                                                          はじめに これは、Kubernetesアドベントカレンダー2の20日目の記事です、と思っていたら1の17日目が空いていたのでそっちに移します。 結論 htopはホストのリソースを取得できるカーネルの情報を見に行っているから! 終 制作・著作 ━━━━━ ⓃⒽⓀ 終わりではない これだけだとアドベントカレンダーの記事としては内容があまりにも薄すぎるのでもうちょっと書きます。 この話を進める前に揃えておくべき前提知識の話。コンテナとVMの違いを説明する方法はいくつかありますが、決定的な違いとしては根本的にリソースの分離の仕方がちがうところにあります(細かいこというのもアレですが、ここではruncなどの標準的なコンテナ実装を用いた場合の話をしています)。 仮想マシンはホストマシンのリソースを(USBやPCIなどをパススルーする場合を除いて)基本的には全て隠蔽し、少ないリソースでデバイスのエミュレ

                                                            リソース制限をかけたKubernetes Podの中でhtopをしてもホスト上のリソースが表示されるのはなぜか - inductor's blog
                                                          • 多様なプロダクトが存在する freee における health check 標準化 - freee Developers Hub

                                                            こんにちは。freee の Platform Solution チーム1 に所属している nkgw (Twitter) です。 この記事は freee 基盤チーム Advent Calendar 2023 の 15 日目の記事となります。 普段は、エンジニアリングマネージャーをしつつ、新規プロダクトのリリースサポートとか、プロダクトのキャパシティプランニングやコンピューティングリソース調整などをやってました。 今回、freee のプロダクトにおける health check の標準化について取り組みました。health check の要件と非標準化がもたらす具体的な問題を整理しつつ、freee では実際にはどのように health check を定義したのかを紹介します。 その前に... 詳細な内容の前に、弊社のような複数のプロダクトが相互に依存関係があるような環境下における health

                                                              多様なプロダクトが存在する freee における health check 標準化 - freee Developers Hub
                                                            • GKEクラスタ内部であってもイベントを直接転送できるEventarcの意外な落とし穴 - Assured Tech Blog

                                                              こんにちは。エンジニアの岩松です。たまにVisionalグループの軽音部でベースを弾いています。最近エフェクターを買ってみたのですが、欲しいものが次々と増えてきて困っています。 この記事はGCP(Google Cloud Platform) Advent Calendar 2023 15日目の記事となります。( Assured Tech Blog でアドベントカレンダーは初参加! 🎉 ) TL;DR Eventarcを使えばイベントドリブンなリソース連携をマネージドかつ手軽に管理できる イベント転送先にはGKEクラスタ内部のエンドポイントも直接指定できるのでPub/Subや Cloud StorageのイベントをPush型で処理しやすくなる Terraform経由だとEventarcが作成ができず、関連リソースが🧟‍♂️になるバグと遭遇したが、サポートとやりとりを続けて解消できた やり

                                                                GKEクラスタ内部であってもイベントを直接転送できるEventarcの意外な落とし穴 - Assured Tech Blog
                                                              • マルチテナンシーのKubernetesクラスタとサービス間通信の認可

                                                                こんにちは、LINEヤフー株式会社でSREとして働いている岩山です。 今回は出向先の出前館で進めているマルチテナンシーのKubernetes(k8s)クラスタとサービス間通信の認可について、その構築作業の中で得られた知見を紹介します。 いくつか導入したツールの紹介を同じチームの出向組メンバーである岡田・望月・岩山の3名でお送りします。 k8sのマルチテナンシーとは マルチテナンシーとは「テナント」と呼ばれる複数のチームなどの単位で k8s クラスタを共有することです。 参考: https://kubernetes.io/docs/concepts/security/multi-tenancy/ 出前館では数百名の開発者が20個前後のチームを構成し、アプリケーションの開発を行っています。それぞれのチームは複数のコンポーネントを持ち、全体としてマイクロサービスアーキテクチャが構成されています。

                                                                  マルチテナンシーのKubernetesクラスタとサービス間通信の認可
                                                                • [CNDT2023]イオンがKubernetesを採用してどうなった?

                                                                  CloudNativeDays Tokyo 2023のキーノートセッションです。 https://cloudnativedays.jp/cndt2023/talks/2078

                                                                    [CNDT2023]イオンがKubernetesを採用してどうなった?
                                                                  • GKEでMLバッチ運用のコツ - エムスリーテックブログ

                                                                    この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約4年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの

                                                                      GKEでMLバッチ運用のコツ - エムスリーテックブログ
                                                                    • CNDT2023: noteのEKS移設、ゼンブ見せます

                                                                      本資料は CNDT2023 の登壇資料です - CFP - Google Docs版 noteでは2023年9月に本番環境の全アプリケーションがKubernetes(EKS)で稼働させることができました。私たちはただKubernetesへの移行だけではなく、長年運用されてきたレガシーインフラの課題を解決するための多くの改善を併せて実施しました。特に、アプリケーションのパフォーマンスを維持するためのロードテスト、オブザーバビリティの強化、コンテナをデプロイするためにオートスケールするGithubActionsランナーを構築した事例、Kubernetesの仕組みをフルに活用し開発環境の即時展開を可能にしたシステムの事例など、このプロジェクトを通じて遭遇した課題やそれを乗り越えるための施策を実例を交えて詳細に解説します

                                                                        CNDT2023: noteのEKS移設、ゼンブ見せます
                                                                      • Kubernetesで構築する大規模時系列データのスケーラブルな分散処理

                                                                        CloudNative Days Tokyo 2023 での登壇資料です

                                                                          Kubernetesで構築する大規模時系列データのスケーラブルな分散処理
                                                                        • k8s 環境で postgresql するなら pgproxy が便利

                                                                          はじめに kubernetes 環境で postgresql のコンテナを建てたり、kubernetes クラスタが存在する VPN に postgresql インスタンスを起動する場合、kubernetes の外から postgresql サーバにアクセスする事ができません。モチベーションとしては自分の端末から kubernetes VPN 内にいる postgresql サーバへ psql で接続したいのです。その為にインターネットに穴を開けたくない。 psql が入ったコンテナを追加する... そうじゃない! 失敗した作戦1 コンテナ環境に socat が入った ubuntu コンテナを建て、postgresql へのプロキシを作成、そのコンテナへ kubectl port-forward する作戦です。 $ socat tcp-listen:5432,reuseaddr,fork

                                                                            k8s 環境で postgresql するなら pgproxy が便利
                                                                          • NetKit Device

                                                                            NetKitデバイスに関して軽い調査をしたまとめ

                                                                              NetKit Device
                                                                            • 緊急SOS!KubernetesのCompletedな10万Jobぜんぶ消す

                                                                              2023年ヒヤリハット大反省会@新宿 - connpass https://findy.connpass.com/event/302579/

                                                                                緊急SOS!KubernetesのCompletedな10万Jobぜんぶ消す
                                                                              • Kubernetes と cgroup v2 - Qiita

                                                                                はじめに Kubernetes は v1.25 で cgroup v2 サポートを GA しており、その後に cgroup v2 に関連する機能が追加されています。しかしまだ多くのディストリビューションで Kubernetes がデフォルトで cgroup v2 を使用しない設定のため、実際に利用している方は多くないと思います。PFN では2022年12月に Kubernetes バージョンを v1.25 にアップグレードするのと同じタイミングで cgroup v2 に切り替えています。 このエントリでは Kubernetes の cgroup v2 に関する機能である MemoryQoS フィーチャゲートと memory.oom.group の2つについて、機能概要と課題を共有します。なお、Kubernetes v1.28 時点での情報です。 そもそもの cgroup v2 について そ

                                                                                  Kubernetes と cgroup v2 - Qiita
                                                                                • 「安全なサーバーレスアーキテクチャを設計するには(Updated 2023 Version)」を公開しました! – csajapan

                                                                                  本書は、CSA本部の「How to Design a Secure Serverless Architecture Updated 2023 Version」の翻訳版で、2022年1月29日に公開した「安全なサーバーレスアーキテクチャを設計するには」のアップデート版になります。 こちらからダウンロードしてください。