はじめに こんにちは。ML・データ部MLOpsブロックの築山（@2kyym）です。 MLOpsブロックでは2022年の上期からArgo CDの導入に着手しました。本記事ではArgo CDの導入を検討した背景から導入のメリット、また導入における公式マニフェストへの変更点や、運用において必須である認証や権限管理など、具体的な手順についてご紹介します。少しでもArgo CDの導入を検討している方の助けになれば幸いです。 またArgo CDを導入するきっかけとなった、複数運用していたKubernetesクラスタを1つに集約するマルチテナントクラスタへの移行についても触れます。マルチテナントクラスタの設計や具体的な移行作業については述べると長くなってしまうため、詳細については改めて別の記事にてご紹介できればと思います。 Argo CDについては、昨年の計測SREブロックの記事でも触れられていますので
Kubernetesの旧コンテナイメージレジストリ（k8s.gcr.io）が廃止へ、プロジェクトが注意喚起
Kubernetesプロジェクトは2023年3月10日（米国時間、以下同）、旧コンテナイメージレジストリドメイン「k8s.gcr.io」（以後、旧ドメイン）の廃止に伴い、注意喚起した。 なぜドメインを変更したのか？ Kubernetes 1.25以降、新たなコンテナイメージレジストリとして「registry.k8s.io」（以後、新ドメイン）の提供が開始され、2023年3月20日からは、旧ドメインから新ドメインへのリダイレクトが行われている。 関連記事 Kubernetes障害で泣かないための羅針盤、Observabilityを活用したトラブルシューティングフロー大公開 Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Observabilityを活用したトラブルシューティングフローを紹介する。 CNCFが公開したクラウド
Vault Secrets Operator: A new method for Kubernetes integration
TerraformInfrastructure as code provisioning
Kubernetes CI/CD Pipelines — Best Practices and Tools
CI/CD pipelines enhance the software delivery process by automating key stages such as testing, security scanning, and deployment. Adopting a pipeline-based workflow helps you ship more quickly by passing all code through a consistent set of steps. This guarantees that required standards are adhered to. You’ll see the greatest CI/CD success when you combine the right set of tools for your team’s s
WINTICKET Web の GKE 脱却と Cloud Run の採用 | CyberAgent Developers Blog
WINTICKET の Web 版（以降 WINTICKET Web）のテックリードを担当している @dora1998 です。 サービス開始以来、WINTICKET Web は Google Kubernetes Engine（以下 GKE）へデプロイして稼働していました。2022 年 10 月に Cloud Run を採用した構成へリアーキテクチャを行ったので、この記事ではその背景や具体的な構成、付随して行った改善について紹介します。 抱えていた課題 WINTICKET Web ではリアーキテクチャ前のバックエンド構成について、大きく 3 つの課題を抱えていました。 リリースの安定性 これまでのリリースフローでは段階的なリリース手段がなく、リリース内容に不具合が含まれていた場合にほぼ全てのユーザーが影響を受ける問題がありました。 加えて、WINTICKET はレース情報を提供する競輪シス
1. Amazon EKSとは何で、どのように機能するのでしょうか？ 回答：Amazon EKSは、独自のKubernetesコントロールプレーンをインストールまたは運用する必要なく、AWS上でKubernetesを実行することを容易にする管理されたサービスです。 Amazon EKSでは、既に知っているKubernetesの機能やツールをすべて使用できます。 2. Amazon EKSの価格オプションは何ですか？ 回答：Amazon EKSの価格は、クラスター内のKubernetesワーカーノードの数と、Amazon EKSワーカーノードを実行するために作成するAWSリソースに基づいています。 Amazon EKSワーカーノードを実行するために作成するAWSリソース（例：EC2インスタンスまたはEBSボリュームなど）に支払い、Amazon EKS自体には追加料金はありません。 3. Am
![[AWS Q&A 365][EKS]AWSのよくある問題の毎日5選 #16 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/2d116d77e7b5bb0063c1a0ec95cfed2cf9b63e83/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQVdTJTIwUSUyNkElMjAzNjUlNUQlNUJFS1MlNURBV1MlRTMlODElQUUlRTMlODIlODglRTMlODElOEYlRTMlODElODIlRTMlODIlOEIlRTUlOTUlOEYlRTklQTElOEMlRTMlODElQUUlRTYlQUYlOEUlRTYlOTclQTU1JUU5JTgxJUI4JTIwJTIzMTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWEwY2ZmYTYzN2ZjYzU1ZDIyYjliODdlMjZmY2I3OGQ5%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc2hpbm9ub21lX3Rha3UmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTcyM2U0ZTQ1Y2RlZGFmNDk1OTIzZjc2ODA5YmJkNDBm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D9429efa3d634e5c9a5df821d8f828c99)
1行で カジュアルな気持ちでk8sの翻訳に関わり始めたよ。 背景 YAPC KYOTO 2023はYouTubeで視聴していて、Linux Conferenceの主催側立場だったりした頃を思い出したり、Debian ConferenceやRuby会議も楽しかったなーなどと感慨にふけっていた(今年のRuby会議はちょっと行きたいなと思ったんだけど、業務とつなげるのが現状では難しそうなのもあって見送り)。 yapcjapan.org 発表はどれも印象深かったのだけれども、最後のLTで@nasa9084さんの「Kubernetesの翻訳協力者募集！」を聞いて「Kubernetes使える人は英語で特段問題なさそうだなぁ」と感想を呟いたところ、@nasa9084さんに拾っていただいて反応をもらった。 speakerdeck.com そもそも翻訳をできる人は日本語のドキュメントを必要としてないので、コ
We are delighted to introduce Spin 1.0, the first stable release of the open source developer tool for building serverless applications with WebAssembly (Wasm)! Since we first introduced Spin last year, we have been hard at work together with the community on building a frictionless developer experience for building and running serverless applications with Wasm. For this release, we focused on bui
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの近藤です。普段はZOZOMATやZOZOGLASS、ZOZOFITなどの計測技術に関わるシステムの開発、運用に携わっています。 計測プラットフォーム開発本部では、複数のプロダクトを開発運用していますが、リリース作業はプロダクト単位で行っています。プロダクトによってローンチから数年経過し安定傾向のものもあれば、ローンチしたばかりで機能開発が盛んなものもある状態です。 複数のプロダクトを管理する上では当然の状況ですが、プロダクト単位でリリース作業手順が異なり、手順そのものにも課題がある状態でした。 本記事では、リリース作業で課題となっていた部分の紹介と、それぞれの課題に対する対応策についてご紹介します。 目次 はじめに 目次 現状 課題と対応方針 リリース作業の自動化 リリース作業の自動化をする上での必須条件の確認 自動化が必要
CI/CD Conference 2023 https://event.cloudnativedays.jp/cicd2023/talks/1774
本文の内容は、2023年3月16に JASON UMIKER が投稿したブログ（https://sysdig.com/blog/kubernetes-cpu-requests-limits-autoscaling）を元に日本語に翻訳・再構成した内容となっております。 以前のブログ記事で、Kubernetesのリミットとリクエストの基本について説明しました：これらは、クラウド環境のリソースを管理するために重要な役割を果たします。 このシリーズの別の記事では、クラスターに影響を与える可能性のあるOOMとCPUスロットリングについて説明しました。 しかし、全体として、リミットとリクエストはCPU管理のための銀の弾丸ではなく、他の選択肢の方が良い場合があります。 このブログポストでは、次のことを学びます： CPUリクエストの仕組みCPUリミットの仕組みプログラミング言語別の現在の状況リミットが最適
Kubernetes Meetup Tokyo #56 2023/03/16 https://k8sjp.connpass.com/event/275280/
Kubernetes の運用効率化を ChatGPT で実現する 障害対応編 | sreake.com | 株式会社スリーシェイク
1. はじめに はじめまして、Sreake事業部インターン生の井上です。私はSreake事業部にてSRE技術の調査と研究を行う目的で2023年3月6日から長期インターン生として参加しています。 本記事では、Kubernetesの運用効率化をChatGPTで実現する方法について調査・評価した事をまとめました。 2. ChatGPT-3とは？ 概要 開発元のOpenAI 公式からの引用会話形式でやり取りする ChatGPT というモデルをトレーニングしました。対話形式により、ChatGPT はフォローアップの質問に答えたり、間違いを認めたり、間違った前提に異議を唱えたり、不適切な要求を拒否したりできます。要約すると、対話形式で会話ができるチャットボット。GPTとはGenerative Pre-trained Transformerの略で、Transformerと呼ばれるニューラルネットワークア
まだどのOCIレジストリも対応していないのですが、新しく仕様が策定されたOCI Referrers APIを試してみた記事です。SBOMなどが話題になる一方で活用方法が不明なまま数年が経過しましたが、この新仕様によってその辺りが多少改善されると思っています。 背景 OCI Reference Types 提案 1: OCI Artifact Manifest 提案 2: OCI Image Manifestへのsubjectの追加 提案 3: Custom Tag 採用された案 検証 Custom Tag OCIレジストリのセットアップ イメージのコピー Referrerの保存 Referrerの表示 Referrers API OCIレジストリのセットアップ イメージのコピー Referrerの表示 Referrers API OCI Artifact Manifestについて その他
gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ
初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします！ gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que
Cilium for Kubernetes networking: Why we use it and why we love it
Kubernetes networking Palark CNI eBPF Cilium for Kubernetes networking: Why we use it and why we love it Thanks to the CNI (Container Network Interface), Kubernetes offers a good deal of options to address your networking needs. After years of relying on a simple solution, we faced a growing demand for advanced features backed by our customers’ needs. Cilium brought the networking in our K8s platf
週刊Railsウォッチ: Ruby30周年記念イベント、37signalsのデプロイツールmrskほか（20230308後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Ruby 🔗 Ruby30周年記念イベント関連情報 イベント: プログラミング言語Ruby30周年記念イベント -- 無事開催されました パンフレットP
はじめに システムの構成 クライアントコマンド authenticator K8s Custom Controller cks-operator imperator 仕組み まとめ はじめに この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。 6 年間の振り返りは こちらの記事 を、運用に関する紹介は こちらの記事（執筆中）を参照してください。 システムの構成 構築・運用していたシステム構成は以下の図のようになっており、ユーザは専用のクライアントコマンド経由で Web IDE や Jupyter を起動してデータの分析ができるようになっています。 アーキテクチャ クライアントコマンド 前述のクライアントコマンド（以下 cmd）の機能などについて軽く説明します。 cmd のソー
ただ、サーチリストがこうなっているのは利便性のためだけではなく、もっと切実な理由があります。 サーチリストとndots DNSの一般的な名前解決のルールとして、こんな風に覚えている方もいるかもしれません。 名前にピリオドが含まれていたら、FQDNとみなしてサーチリストを参照せずに名前解決を行う 名前にピリオドが含まれていなければ、サーチリストのドメインを末尾に連結して名前解決する 例えば、こんな具合です。 $ ping myhost # ピリオドが含まれていないため、myhost.example.comが名前解決される PING myhost.example.com (192.168.0.1) 56(84) バイトのデータ 64 バイト応答 送信元 myhost.example.com (192.168.0.1): icmp_seq=1 ttl=57 時間=12.4ミリ秒 $ ping w
Google、モノリスとマイクロサービスのいいとこ取りをする「Service Weaver」フレームワークをオープンソースで公開
Google、モノリスとマイクロサービスのいいとこ取りをする「Service Weaver」フレームワークをオープンソースで公開 Googleは分散アプリケーションの開発とデプロイを容易にするフレームワーク「Service Weaver」をオープンソースで公開しました。 Introducing Service Weaver! Service Weaver is an open source framework for building and deploying distributed applications. It allows you to write your application as a modular monolith and deploy as a set of microservices. Learn more → https://t.co/XmnVALYXNC pic
Kubernetes基盤を自律的に支えるController化の実装Tips / forkwell-202303-amsy810-k8s
青山 真也 氏（@amsy810） CyberAgent Software Engineer / CloudNative Days Tokyo Co-chair Kubernetes Meetup Tokyo/Cloud Native Meetup Tokyo Organizer としても活動。 著書に「Kubernetes完全ガイド」「みんなのDocker/Kubernetes」等。 Kubernetesには、様々な拡張ポイントが用意されています。Kubernetes Controllerを利用することで、Kubernetesに対して様々な任意の機能を簡単に拡張していくことが可能です。 CyberAgent group Ingfrastructure Unitでは自分たちの運用業務知識をKubernetesに組み込み、クラスタの運用を人が毎回考えずに・人を介さずに自律的に行えるように、運
「KubeCon + CloudNativeCon NA 2022」から、サービスメッシュのIstioのセッションを紹介する。IstioはGoogle、IBM、Lyftが初期の開発を行い、その後CiscoやRed Hat、Solo.ioなども加わって開発を継続しているサービスメッシュのオープンソースソフトウェアだ。2022年9月28日にCNCF配下のインキュベーションプロジェクトとして採用された。実は2020年にGoogleはOpen Usage Commonsというトレードマークの管理を行う非営利団体を立ち上げ、Istioを寄贈した。これは「Istioのガバナンスを中立的な組織に移譲して欲しい」というオープンソースコミュニティからは非難されることとなった。GoogleがOpen Usage Commonsを立ち上げたことに関しては以下の記事を参照されたい。 ●参考：GoogleがIsti
Author: Shiming Zhang (DaoCloud), Wei Huang (Apple), Yibo Zhuang (Apple) Have you ever wondered how to set up a cluster of thousands of nodes just in seconds, how to simulate real nodes with a low resource footprint, and how to test your Kubernetes controller at scale without spending much on infrastructure? If you answered “yes” to any of these questions, then you might be interested in KWOK, a t
Kubernetes登場でCNFの作り方が大きく変化した 辻広志氏（以下、辻）：ここは簡単、簡単と言ったらアレなのですが、みんなが共感しやすいところだったので、最初に入れました。では続いて、ネットワークファンクションの中でのOSS利用に、入っていきたいと思います。 （スライドを示して）これも私見なので異論がある方がいたら申し訳ないのですが、最近のテレコムのアプリケーション、商用アプリケーションは……。どのベンダーがというわけではなくて、これは一般的な話だと思ってください。 昔はVNF（Virtual Network Function）まではバーチャルマシンで提供されていたこともあって、垂直統合のアーキテクチャというか、ソフトウェアスタックだったと思います。先ほど言ったように、LinuxのOS部分は普通のLinuxが使われていたりしますが、ベンダー独自のミドルウェアやHA機能があったりします
EKS で aws-auth ConfigMap の変更を誤ってしまいアクセス許可を失ったときの対処方法 | DevelopersIO
困っていた内容 aws-auth ConfigMap を変更したところ内容に誤りがあり、EKS クラスターへアクセスができない状態になりました。 他に許可している IAM リソースもなく、再変更もできない状態です。EKS クラスターにアクセスする方法があれば教えてください。 どう対応すればいいの? EKS クラスターを作成した IAM エンティティからアクセスしてください。 原則として EKS クラスターにアクセス可能な IAM エンティティ（IAM ユーザ、IAM ロール）は、aws-auth ConfigMap で設定します。一方で、EKS クラスターを作成した IAM エンティティは、aws-auth ConfigMap の設定不要で、system:mastersアクセス許可が付与されています。 そのため、aws-auth ConfigMap を誤って変更してしまった場合も、EKS
本日の議論内容は「今後Open Sorce Softwareとどう付き合っていくべきか」 辻広志氏（以下、辻）：KDDIの辻です。本日最後のセッションで、残り僅かということでがんばっていきたいと思います。今回のオペレーター（Cloud Native Telecom Operator Meetup 2022）は発表してからディスカッションをするパターンが多かったかと思いますが、私はいきなりパネルディスカッションで（はじめて）、50分みんなでしゃべる会にしたいなと思ったので。 私がディスカッションペーパーというかたちでスライドを作っていますが、適宜スライドを送りながらざっくばらんに議論ができればと思います。 （スライドを示して）本日どういう話をするかです。もちろんアブスト（アブストラクト）に書いてあることをまとめているだけにはなるのですが、今日のテーマでもあるクラウドネイティブ、まあクラウドネ
Abstruct サービスメッシュが、真に提供する価値は何なのか。それはトラフィック管理と可観測性なのだろうか。 サービスメッシュがこれほどにまで繁栄した理由について、私なりに考察する。 Introduction 近年では、ソフトウェアのアーキテクチャとして、マイクロサービスが大流行した。かつては最大手のインターネット企業のみが必要性に迫られていた、マイクロサービスアーキテクチャだが、昨今の急激に成長するITビジネスの中で、多くの企業にとってマイクロサービスは、あらゆる企業が取り組むべき必然性のあるソリューションとなっている マイクロサービス・アーキテクチャによって、大規模な開発チームがより俊敏になり、より多くのデプロイを実現させられることは、大きなメリットだ。一方で、マイクロサービス特有の課題も数多く存在する。 マイクロサービスに移行する際に発生する運用上の問題の多くは、結局のところ、ネ
Kubernetes: cgroup v2 使用時に "failed to create fsnotify watcher: too many open files" エラーが発生する問題の対策 - Qiita
Kubernetes: cgroup v2 使用時に "failed to create fsnotify watcher: too many open files" エラーが発生する問題の対策cgroupskubernetescontainerdcgroup-v2 はじめに Kubernetes 1.25 で cgroup v2 が GA しました。Kubernetes で cgroup v2 に移行するとメモリ QoS が導入され、Pod のメモリ使用量が増加した際の安定性が向上するメリットがあります1。そこでクラスタを Kubernetes 1.25 にアップグレードする際に一緒に cgroup v2 に移行したのですが、移行後に kubectl logs -f コマンドやノードのホスト上で journalctl -f を実行した際に次のエラーが発生するようになりました。
この記事は FIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム(+分散Key Value Store)の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景要約: 素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバ等ありますでしょうか？自分は学生時代からConoHa VPS(コンビニ支払いできるのが学生にやさしい)、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でKu
Karpenter の統合機能を用いた Kubernetes コンピューティングコストの最適化 | Amazon Web Services
Amazon Web Services ブログ Karpenter の統合機能を用いた Kubernetes コンピューティングコストの最適化 この記事は Optimizing your Kubernetes compute costs with Karpenter consolidation (記事公開日: 2023 年 2 月 7 日) を翻訳したものです。 イントロダクション Karpenter は Kubernetes における最適なノード選択に関する課題を解決するために開発されました。Karpenter の what-you-need-when-you-need-it モデル(訳注：必要な時に必要な分のリソースを調達すること) は、Pod の要求に基づきクラスターにコンピュートキャパシティを追加することによって、Kubernetes のコンピュートリソースの管理プロセスを簡略化し
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフー社内のKubernetes環境における、シークレットデータの扱いに関して紹介します。 ヤフーでは、Secrets Store CSI Driver（以下、SSCD）というプロジェクトを、社内のKubernetesプラットフォーム向けにエコシステムとして導入しました。なぜ私たちがSSCDをエコシステムとして導入する必要があったのかを説明します。 社内データ保護の一環として、ヤフーでは自社開発のSecrets Managerを運用しています。各シークレットデータの保護に加え、RevokeやバージョンコントロールなどパブリッククラウドにあるSecrets Managerと同様の機能を有しています。ストアしているシークレットデータは
脅威モデリングをソリューション化させるまでの歩み | CyberAgent Developers Blog
本記事では、 脅威モデリングの概要と弊社で脅威モデリングをゼロからソリューションとして提供するまでの歩み、それに伴って発生した課題とその対応策の一部についてご紹介いたします。本記事を通じて、脅威モデリングの理解の助け、または実践する際の参考になれば幸いです。 ToC 背景 脅威モデリングについて 知見を整理するまでの歩み まとめ 背景 弊社のシステムセキュリティ推進グループ（以降、部署）は、「セキュリティ維持・向上・事後対応を通じて、サイバーエージェントグループの成長阻害要因となるITセキュリティリスクを排除する」をミッションに据えております。弊社には関連会社にてゲームやブログ、動画配信など多数サービスを有しており、弊部署は横断組織という位置付けから、それら関連会社に対してセキュリティ対応や管理策の設計・運用など日々多数の取り組みを実践しています。 その中で、プロダクトのシステムにおけるリ
LAPRAS株式会社でSREをしております yktakaha4 と申します 🐧 今回は、仕事のひとつとして1年くらい取り組んでいたEKSクラスタのバージョンアップの運用改善について一息つけたので、振り返りを兼ねて備忘録を遺したいと思います ✍ 先にお断りしておくと、この記事で話すのは 運用ノウハウが{ほぼ無い,失われてしまった}EKSクラスタに対して、手順改善やリファクタリングを通じて継続的なバージョンアップ運用を再開する方法 というあまり胸を張れない内容です ネットの記事やカンファレンスを見ていると、大規模環境や高トラフィック下における取り組みや、初期構築の段階で充分な運用設計を済ませている素晴らしい事例などが目に留まります 一方で、過去に選定したk8sを破棄して元の技術スタックに戻す意思決定をしたプロジェクトについて見かけることもあります 各社においても様々なコンテキストがあるものと
Docker Desktopと代替ソフトウェア大集合 - とことんDevOps | 日本仮想化技術のDevOps技術情報メディア
Docker Desktopは普段使いのマシンでコンテナーでアプリケーションを実行することができるソフトウェアで、Dockerのサイトからダウンロードして使うことができます。 開発中のアプリケーションのテストとか、手元の環境でソフトウェアを動かしてみたい時に便利です。VSCodeとの連携もバッチリで、VSCodeコードでコーディングしたアプリケーションをDockerコンテナーで実行するDevContainerにも対応しています。最近のバージョンでLinux Desktop版も提供されるようになったので、もちろんパソコンは必要ですが、Linux DesktopにDocker Desktopをインストールすれば、ほぼ無料でコンテナーベースのアプリケーション開発が可能になります。 良い世の中になりました。 そんな便利なDocker Desktopですが、Dockerの方針変更で次の条件に当てはま
私はUdmeyに年間50万??ぐらい教材に投資して常に、Udemyに貼り付いて良い講座ができるのを監視しています。その中で、最後まで講座を受講してその講座の感想を書きたいと思います。私は、優良だと思わない講座は即返金処理を行うので、ここに紹介される講座は、とてもわかりやすいものしか基本的に載せてありません。この記事は更新されていきますので、ご興味ある方はいいねとストックをお願いします。(よかったやつ証明書とかコピペしてここに貼るの正直まじでめんどくさいので、更新するモチベーションに繋がります)。下記に書いてあるものは全部、優良のものだが、中でも個人的に良いなと思ったやつは、右バーのindexと題名に「👍」をつけておいた。下までスクロールするのがめんどくさい人は「👍」まで。 どうやら、この記事がUdemy Advent Calender 2023に参考記事になったようです。 ちょくちょく
アソビューでSREを担当している鈴木です。アソビューでは、先日、当社のサービスに利用しているEKSを最新版の1.24までバージョンアップしました。今回は、ここでいくつか問題が発生したので、発生した問題とどう対応したかという話を書きたいと思います。 はじめに バージョンアップの流れ Datadog Agentの最新化 問題の対応方法１（JMX を使用したオートディスカバリー） 問題の対応方法１（Unix ドメインソケット上の DogStatsD） 評価環境の更新 cluster-autoscalerが起動しなくなる問題の発生 fluentdでログが送信されなくなる問題の発生 本番環境の更新 まとめ はじめに EKS1.24では、Dockershimの依存の排除という内部的には大きな変更が入りました。アプリケーションのレイヤにおいては、ほぼ影響はなかったのですが、インフラの立場においては、想像
この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム（+分散Key Value Store）の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約：素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか？ 自分は学生時代からConoHa VPS（コンビニ支払いできるのが学生にやさしい）、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK
kubernetesをGCPやAWS上で動かすとき、実務でぶち当たった壁、考えないといけないポイントをまとめていきます。 AWSのマネージドで動かすか? k8sの中で動かすか問題 証明書関連 どこでSSL終端を行うのか?k8s-cluster外でSSL終端するのか、しないのか?を考える必要がある。さらにその証明書を得るときに期間が切れたときに自動で証明書を発行するのかいなかなどもある。 シークレット関連 通常、k8sでsecrets.yamlファイルを定義した場合、Secretのvalueはbase64で、エンコードされるだけで、エンコードされた文字列を知れば、簡単にデコードできてしまう。そのため、secretsを以下のサービスを使用して外部に置いておいて、必要な時に動的に取得するといったシークレット管理の仕方が存在する。 external-secrets-operator(ESO) SS
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) でマネージドな Kubernetes クラスタを使用することができる Google Kubernetes Engine (GKE) を解説します。Amazon Elastic Kubernetes Service (EKS) や Azure Kubernetes Service (AKS)など、kubenetes をマネージドに提供するサービスは存在しますが GKE はそれらの中でもよい評判を耳にします。例えばマスターノードの料金が不要、起動が早いといった具合です。GKE は Google Cloud 採択の理由たりえるサービスのため、優先的に仕様を調査することにしました。 Google Kube
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 Kubernetesは現在は4ヶ月に一回マイナーアップグレードリリースが実施されています。そして、基本的には最新の3つのマイナーリリースについてサポートが行われるポリシーとなっています（深刻なセキュリティフィックスは例外）。 https://kubernetes.io/ja/docs/setup/release/version-skew-policy/ ところが、DataDogのレポートによると古いバージョンのKubernetesを使い続けている組織が多いのだそうです。Kubernetesは後方互換性が高いレベルで保た
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MLOpsマルチテナントクラスタへのArgo CDの導入と運用 - ZOZO TECH BLOG
[AWS Q&A 365][EKS]AWSのよくある問題の毎日5選 #16 - Qiita
Kubernetesドキュメントの日本語翻訳に関わり始めた - kmuto’s blog
Spin 1.0 — The Developer Tool for Serverless WebAssembly
GitHub Flow with GitOpsの導入 - ZOZO TECH BLOG
トランクベース開発の実現に向けた開発プロセスとCIパイプラインの継続的改善
Kubernetes CPU リクエスト & リミット VS オートスケーリング
Kubernetesコントローラーのパフォーマンスチューニング
OCI Referrers APIを試す - knqyf263's blog
機械学習手法を用いる研究向け基盤 on Kubernetes ~開発編~ - tenzenの生存日誌
Kubernetesのキャッシュネームサーバとリゾルバ | IIJ Engineers Blog
「KubeCon NA 2022」から、サイドカーレスを実装したサービスメッシュのIstioのセッションを紹介
Introducing KWOK: Kubernetes WithOut Kubelet
「Kubernetesの登場で、作り方はCNFに大きく変化した」 プラットフォームにするためには共通化が必要
長い歴史があるインフラ領域のOSSの今 各社は「ヒト・モノ・カネ」の何に苦労しているのか
サービスメッシュの本質は、トラフィック管理や可観測性ではない
Kubernetesもどき、作ってみた！ | cloud.config Tech Blog
より安全なKubernetes Secrets管理のためのエコシステムの開発
チームに知見が残るEKSクラスタバージョンアップ運用
Udemyの番人がおすすめする講座 - Qiita
EKS1.24にバージョンアップした時に発生した各種問題について - asoview! Tech Blog
100台くらいスケールする“Kubernetesもどき”を自作してみた！
kubernetesを使用するにあたってぶち当たる壁 - Qiita
Google Kubernetes Engine（GKE）を徹底解説 - G-gen Tech Blog
Kubernetesのバージョンアップとの付き合い方 | IIJ Engineers Blog