Binary Authorization 信頼できるコンテナのみを Kubernetes Engine にデプロイ。 Binary Authorization は、Google Kubernetes Engine（GKE）に信頼できるコンテナ イメージのみがデプロイされることを保証するデプロイ時のセキュリティ管理サービスです。Binary Authorization を使用すると、開発プロセス時に、信頼できる機関によるイメージへの署名を必須にして、デプロイ時にその署名を検証する過程を導入できます。検証プロセスを適用することで、適切であると認められたイメージのみがビルドとリリースのプロセスに統合されるため、コンテナの環境をより厳密に制御できます。 <機能> ポリシーの作成 ポリシーの検証と適用 Cloud Security Command Center の統合 監査ログ Cloud KMS
![[GCP] GCPサービスを勝手にまとめてみた(セキュリティ編) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5f720c3b5b0f0d56f60aa6c407b53deeb251dff5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCR0NQJTVEJTIwR0NQJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkzJUUzJTgyJUI5JUUzJTgyJTkyJUU1JThCJTlEJUU2JTg5JThCJUUzJTgxJUFCJUUzJTgxJUJFJUUzJTgxJUE4JUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJTI4JUUzJTgyJUJCJUUzJTgyJUFEJUUzJTgzJUE1JUUzJTgzJUFBJUUzJTgzJTg2JUUzJTgyJUEzJUU3JUI3JUE4JTI5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hOWRmZDc3NTY1N2VhM2VlYjY5ZjRmMzM3NjVmZTgzNw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcmlzYTAzMjAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWZhMjA1YjhiYzdmZDI4ZWQxMTAzOTQxY2FhOTdhOGNm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D33fd281ebf20cb864cb33b5d20d538af)
僕がお金を払ってでも教わりたいこと 2021
追記 一旦締め切りました。 連絡をくださった方、書籍などのアドバイスをくださった方ありがとうございます。 本文 謝礼をお支払いするので、教えて欲しいことがあります。 自習しろと言われそうですが、試行錯誤するには人生が短すぎたり、爆速突破するには能力が足りなかったりで色々辛くなってきたので何卒。 以下、学びたい優先度順です。同時に学べるのは多くて 2 つで、被った場合は優先度順でお願いすることになります。 教えて欲しいこと OCaml で Parser Combinator を 0 から作る 狙い: 関数型プログラミング言語とそれの使い方を学びたい。また、OCaml のエコシステムに詳しくなりたい。 Monadic Parser をゼロから作ることで、関数型プログラミングのテクニックや考え方を学びたいです。 すでに 教科書的な簡単な Monadic Parser を 0 dependenci
Amazon EKSでIngress Controllerに何を採用するか検討した | PSYENCE:MEDIA
こちらの内容は2019年5月当時のものです。内容が古くなっています。 当時はalb-ingress-controllerという名前でしたが、aws-load-balancer-controllerとなり、ingressのグルーピングの機能も追加されています。 最新のものは以下の記事で紹介しています。 TargetGroupBinding を使って AWS EKS で Kubernetes を無停止かつ DNS 切り替え無しでバージョンアップしました こんにちは、スタディサプリ ENGLISH SREグループの大島です。 現在、Amazon Elastic Container Service for Kubernetes（以下EKS）を本番運用するにあたって各要素について検討を行なっています。今回は、その一貫でAmazon EKSでIngress Controllerに何を採用するかについて
秘密情報をGitLabに格納することなくGoogle Cloud / AWSに対して認証する - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの笹川です。 趣味はバスケと筋トレで、このところはNBAはオフシーズンですが、代わりにユーロバスケが盛り上がっていて、NBAに来ていない良いプレーヤーがたくさんいるんだなーと思いながら見ています。 夜ご飯を催促するためデスク横で待機する犬氏（かわいい） 今回は、パブリッククラウドへの認証に必要な秘密情報をGitLab自体に格納することなく、安全に認証する方法について紹介します。 CI/CDの実行時のパブリッククラウドに対する認証 ナイーブな手法とその問題点 OpenID Connectを用いた認証 Terraformでパブリッククラウド側の設定を記述する Google Cloudの場合 AWSの場合 GitLab CI/CDで認証する Google Cloudの場合 AWSの場合 認証ステップの共通化 まとめ We are hirin
クラウドネイティブアプリケーションの運用基盤としてデファクトとなったKubernetes。稼働させるワークロードも多様化し、金融業などをはじめ、収益を担う一般顧客向けアプリケーションをKubernetes上で動かすケースも増えている。これに伴い、注目を集めているのがミッションクリティカルなビジネスを支える「データを保持することが求められるステートフルアプリケーション」のKubernetes上での運用だ。これを効率的かつ安全に動かすポイントとは何か？ Kubernetesに詳しいゼットラボ、NRI、ネットアップに所属する三者に話を聞いた。 Kubernetesでのステートフルアプリケーション運用のポイントとは？ デジタルトランスフォーメーション（DX）の取り組みが加速する中、クラウドネイティブな技術や開発、運用アプローチが大きな関心を集めている。中でも、Web企業のみならず、金融、製造などを
はじめにこんにちは鹿島(@kashitaka)です。今までリクルートライフスタイルにてAirの開発をしていましたが、4月からリクルートとサイバーエージェントのジョイントベンチャーの株式会社ヒューマンキャピタルテクノロジー(HCT)にてプロダクト開発グループの責任者をやってるものです。 弊社では従業員のコンディション可視化・改善ツール「Geppo」を運営しており、今回はそんなGeppoに参画して最初に着手した改善の1つ「テスト環境増殖プロジェクト」について書きます。 何に困っていたか まず始めに参画当初の状態としてはこんな感じでした。 ■状態 ・製品はAWS Elastic Beanstalk(以下EB)というPaaSにホストしているアプリケーション ・クラウドのテスト環境はEB環境が2つのみ。あとは各個人のローカル開発端末 ・テスト環境へのデプロイ作業は操作権限を持ったサーバーサイドエンジ
GCP(Google Cloud Platform)でディープラーニング学習環境構築方法 背景 ようやくDockerでのディープラーニングGPU学習環境構築に成功した @karaage0703 。疲れを癒す間も無く、ディープラーニングの帝王Google社のデベロッパーアドボケイトから、新たなる天啓がくだる。 度々からあげさんの記事を引用して恐縮ですが、もしGCPを使う場合は、このあたりをまるっとイメージにまとめたDeep Learning Containersってのもあります。ポチるだけでCUDA/TF/Jupyter/その他全部入りのコンテナをGKEで動かせます。 #gcpjahttps://t.co/tszxsK6sichttps://t.co/VMo9OHBjUp — Kazunori Sato (@kazunori_279) August 7, 2020 CUDAドライバ周り、誰し
エンジニアリンググループ AI・機械学習チームの岩月です。 これは エムスリー Advent Calendar 2019 の12月8日の記事です。 今回は、先日ついにGAになった Cloud Run を利用して、 NEWS のランキング API を作成した件についてまとめます。 NEWS ランキング API の役割 Cloud Run 構成 処理のフロー なぜこの構成になったか (Cloud Run を採用してよかった点) 運用のコストを減らしたかった GKE (Kubernetes) への移行がしやすい Cloud Run を使いたかった Cloud Run を採用したことによる制限 Keep-Alive ができない コールドスタート まとめ We're hiring! NEWS ランキング API の役割 エムスリーでは医療関連のニュースをはじめとする様々なニュースを扱っており、そこで
【Google Cloud・GCP】Professional Cloud Developer 認定資格取得してきました - YOMON8.NET
GCPのProfessional Cloud Developer取得してきました。 2021/07/20に更新してきました 勉強内容 模擬試験 AWSとの比較 キャンペーンの利用 出題傾向 日本語 プレゼント 所感 GCP試験関連 2021/07/20に更新してきました 試験問題数が60問と増えており、内容もいくぶん難しくなっていました。ただ、全体として言えば難易度は高くなく、細かい知識は問わずにポイントを抑えた理解が求められているところは変わりません。 K8s周りと、そのDevOps周りが強化された印象です。 Proffessional Architectなどのメジャーどころの試験と比べて日本語が怪しいのは変わらずです。 プレゼントもらうのも、かれこれ9回目くらいですが、今回初Tシャツが増えてましたので、これにしようと思います。 勉強内容 事前知識として、このあたりがあったからで、今回は
TL;DR先日、GAとなったConfig Connector を使うと、Kubernetes のリソースのようにGCPのリソースを作成・管理できます。 はじめに昨今、クラウドを利用することが増えてきたエンジニアの方々は、様々な構成管理システム、API、ツールなどを組み合わせてインフラを管理していると思います。これらの要素は、どんどん複雑化し把握するのも困難になってしまいがちです。Config Connectorは、Kubernetesを介して、Google Cloud Platform 上でリソースの構成をシンプルにしてくれます。 Config Connectorとは?Config Connector とは、Kubernetes を介して Google Cloud のリソースを管理出来るようにするための、Google Kubernetes Engine（GKE）のアドオンです。Agones
こんにちは。メルカリの画像検索チームでTech Leadをしています葛岡です。 今回は、メルカリのMLシステムの中で一、二を争う複雑なシステムである画像検索の基盤を再設計し、経済的にも技術的にもみんなが幸せになったお話をしたいと思います。 画像検索ってなぁに？ その名の通り、画像をベースに視覚的に似ている商品を検索する機能です。この機能は２年ほど前にリリースされていて、すでにiOSバージョンのメルカリではご利用いただけます。 当時のシステムはブログ記事になっているので、ご確認ください。 再設計？なにそれ？おいしいの？ さてこの機能を支えるシステムですが、当時開発されて以来、大きな再設計などは特になく、つい最近まで運用されていて、画像検索やその他のメルカリサービスでも内部的に呼ばれていて、プラットフォーム的な立ち位置を担っていました。 画像検索は定期的に新しい画像インデックスを構築するのです
Cloud Run（Cloud Run on GKE でないほう）に Rails アプリケーションをデプロイします。 デプロイは下記の流れで進めます。 Rails アプリの Docker イメージをローカルで作成して、Container Registry に Push Cloud SQL インスタンスとデータベースを作成 ローカルで Cloud SQL Proxy を使って Schema Migration を実行 Cloud Run にアプリケーションをデプロイ 今回作成したソースコードは下記においてあります。 scripts/ 以下に gcloud コマンドの実行サンプルもおいてあります。 github.com Cloud Run Cloud Run は GCP での Knative のマネージドサービスです。 cloud.google.com cloud.google.com Kna
KubernetesのLoadBalancerやClusterIPを用いた中間者攻撃（CVE-2020-8554） - knqyf263's blog
今回は前回と違いライトなネタです。 概要 Kubernetesで新しい脆弱性（CVE-2020-8554）が公開されました。 github.com 拍子抜けするほど簡単な脆弱性なのですが、一応試しておきました。発見者の方のブログも以下にあります。 blog.champtar.fr 今回の脆弱性はServiceのtype: LoadBalancer/ClusterIPを悪用して行う中間者攻撃（MITM）なのですが、ブログの中でMITM as a Serviceと評していたのが面白かったです。KubernetesがMITMを簡単に代行してくれるという意味でas a Service感強いですし、今回悪用するリソースタイプもServiceなので二重にかかっていて好きです。 要約 前提 攻撃者が以下のいずれかの権限を持つ場合 type: ClusterIPのServiceを作成可能かつspec.ex
2022 年 4 月 27 日 追記: 2022 年 3 月末に GKE で Gateway API の v1alpha2 が利用可能になりました。それに伴い本記事の内容も v1alpha2 を前提としたものに更新しています。 重要 2022 年 4 月 27 日時点の既知の問題として、元々 v1alpha1 CRDsをインストールし利用していたクラスタに v1alpha2 CRDs をインストールした場合、新規設定が可能になるまで最大 1 週間程度が掛かる場合があります。元々 v1alpha1 を使っていたクラスタとは別のクラスタを用意して v1alpha2 を試して頂くことを推奨します。 Kubernetes / GKE ファンの皆様、こんにちは。Google Cloud の Kazuu (かずー) です。 さて、2021 年に一番話題に挙がった GKE のアップデートと言えば、GKE
こんにちは。サーバーサイドエンジニアの平井です。 今年もあと1ヶ月ですね。リモートワーク中心の生活スタイルに変わり、より一層時が過ぎるのを速く感じています。 もう年末ということで、弊社では今年もAdvent Calendarを開催します!! 題して、Enigmo Advent Calendar 2020です!! 記念すべき1日目は、私、平井の「Cloud Run 使ってみた」になります。 プロジェクトで簡単なAPIをCloud Run(フルマネージド)上に実装したので、それについて話したいと思います。 構成 Cloud Run(フルマネージド)について 準備 Dockerfile cloudbuild yaml その他 ドメイン 他GCPサービスとの連携 感想 最後に 構成 会員毎にパーソナライズされたコンテンツ情報を返すAPIをCloud Runを使って実装しました。 とてもシンプルです
以前にセルフホストランナーの知られざる機能であるジョブの前後に任意のスクリプトを実行できるhookを紹介しました。 今回はセルフホストランナーの知られざる機能の紹介第二弾としてactions/runner-container-hooksを紹介します。 runner-container-hooksは2023年現在では比較的新しい機能で、自分もいつ頃に知ったのかは覚えていないのですが、actions/runnerのリポジトリには2022年の4-5月頃に追加されていたようです。実装のpull-reqから少し遅れて5月には設計ドキュメントと言えるADRのpull-reqが出されています。 このADRを見たところ自分がセルフホストランナーを運用する上で今まではどうしても不可能であったコンテナの中で起動したセルフホストランナーの中でコンテナ型のactionなどが実行できないという制約を突破できることが
EKSでの認証認可 〜aws-iam-authenticatorとIRSAのしくみ〜 - もうずっといなかぐらし
こちらはAmazon EKS #1 Advent Calendar 2019 7日目の記事です。 EKSでIAM RoleをUserAccountに紐付けたり、ServiceAccountをIAM Roleに紐付けたりする際、AWSのドキュメントに従って設定してはいるものの、その設定によって実際にどんな処理が行われているかを具体的に知らない方も多いのではないでしょうか？(私も今回の記事のために調べるまではそうでした。) そこで今回の記事では、Kubernetesの認証認可の仕組みを解説したあと、AWSのIAMの認証情報をKubernetes内のUserAccountに紐付けるaws-iam-authenticatorの動作の仕組みとKubernetesのService AccountにIAM Roleを紐づける仕組みについて設定方法のレベルから一段掘り下げて実際の動作に焦点を当てながら説明
多くのユーザーさまに安心して遊んでもらえる新作ゲームを提供するためのコロプラの取り組みを紹介する「大規模モバイルゲームのローンチを支える技術」。ここでサーバー基盤グループのごましお氏が登壇。ここからは、「複数人のプレイログを収集する」フェーズから「規模を増やしながら繰り返す」フェーズまでについて話します。前回はこちらから。 複数人のプレイログを収集する ごましお氏：続いては、複数人のプレイログを収集するフェーズです。例えば、開発チーム内でのプレイ会とか社内プレイ会みたいな、なるべく大人数がプレイするタイミングでログを収集します。 自分でプレイしてログを収集するのとは目的が違っています。ここでは、1ユーザーあたりのRPSを測定すること、それからAPI呼び出しの全体の割合を把握することを目標とします。なるべく多くの人数でプレイしたログが収集できると、それだけ精度の高い情報が得られて、以降の試験
NGINXを有するF5ネットワークスは2020年10月12日、Kubernetes向けサービスメッシュ「NGINX Service Mesh」を発表しました。Kubernetesのサービスメッシュとして有名なIstioの対抗馬が出現した形になります。 Introducing NGINX Service Mesh - NGINX https://www.nginx.com/blog/introducing-nginx-service-mesh/ 複数の小規模なサービスの連携によってアプリケーションを構築するマイクロサービスは、開発スケジュールの短縮や柔軟な拡張性をもたらしましたが、サービス間の通信やデバッグが複雑になるというデメリットもありました。そうした問題を解決するのがサービスメッシュで、NGINX Service Meshではマイクロサービスにおける以下の課題を解決しているとのこと。
入社したのが2017年11月だったので今月で5年間になります。いままででこんなに長く同じ会社で働いた事はなく長く働き続けられているのはひとえに10Xで働くのが楽しいからだと思っています。いろんなことがありましたがその時々であったこと学んだことを書いていきます。 10Xがサービスをリリースしていないときのまさに0.1くらいのときからいるのでいろいろ参考になるかもしれません。 そもそも10Xはどんな会社か いまはStailerという小売チェーンのECを垂直立ち上げするプラットフォームを作っています。スーパーなどの小売様がStailerを導入することによりWeb・アプリに対応したネットスーパーを立ち上げる事ができます。 Stailerを始める前にタベリーといういまはクローズした献立推薦アプリを作っていました。Stailerはタベリーで提供していた注文機能を切り出してそれぞれの小売様向けのアプリと
この記事は、Mercari Advent Calendar 2022 の3日目および Developer Productivity Engineering Campブログシリーズの一環で、メルカリCI/CDチームのMichael Findlater (@michaelfindlater)が執筆したものです。 ※本記事は2022年2月3日に公開された記事の翻訳版です。 ここではメルカリにおける次世代Continuous Integration(CI)システムの実装、そしてそれに向けたいくつかの技術的な取り組みについて解説します。またこの施策の動機とも言える、サプライチェーンアタックがどのようにCI/CDエンジニア達にとって今後より重要になってきたのかについて解説します。 背景 これまでも常にCI/CDパイプラインに対する攻撃は存在していたものの、ここ最近のこのエリアに対しての攻撃の急増は脅威
こんにちは、クラウド事業部の中根です。 未経験からKubernetesに入門して約１か月が経ったので、振り返りたいと思います！ 実務に入る前の予習なので、実務を通した実践的な学習はしていない点はご了承ください。 学習の動機 入門前のレベル感 学習プロセス 入門0～7時間 入門7～32時間 入門32～60時間目 入門60～71時間目 入門71～132時間目 +α できるようになったこと 次のステップ これから入門する方へ おわりに お知らせ 学習の動機 私は中途入社で、案件は決まったのですが、参画まで1か月半ほど待機期間となりました。 クラウドネイティブな案件ということで、この期間を活かしてKubernetesのキャッチアップをすることになりました。 入門前のレベル感 IT業界経験が3年と1か月です。 以下、関係する領域の詳細です。 Kubernetes ほぼ未経験。 OpenShiftをち
Terraform による迅速なクラウド基盤の構築とワークロードのデプロイ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は去年、ベスト プラクティスに従って強固なクラウド基盤を迅速に構築するため役立つオープンソースのテンプレートとして、Cloud Foundation Toolkit をリリースしました。これらのモジュールは Terraform infrastructure-as-code フレームワークと、Google の Cloud Deployment Manager の両方で利用できます。 本ブログ投稿では、Cloud Foundation Toolkit Terraform のサンプル基盤 を使用して、安全なクラウド基盤を構築する方法について詳しく解説します。その次に、Terraform を使用してマイクロサービスのデモアプリケーションを基盤上にデプロイする方法
フリーランスになっていました | うなすけとあれこれ
2019年5月1日から、個人事業主として株式会社バンクで1日8時間の週4日間で稼動していました。 理由 「週4日労働にしたかった」 ためです。好きなようにコードを書いたり、映画など娯楽に興じたり、心身を養ったりする時間のために、もう1日休日が欲しいという気持ちは2019年になってから心のどこかにずっと引っかかっていました。 交渉の過程 ただ、フリーランスになるとは言ってもバンクを離れたくはありませんでした。当時から計画されていた新サービスの実装、まだまだ綺麗にし足りないコード、インフラ構成のキャッチアップ……やりたいことは山ほどありました。 なのでまずは人事の方に相談し、こちらの意向として 週4日労働にしたい そのための手段がフリーランスになるのか、正社員としてだが契約変更となるのかはどちらでも良い ということを伝えました。 結果としてですが、フリーランスとして契約をし直すということになり
モノリシックなAPIでのカナリアリリース導入と開発者の認知負荷を減らすためConfigMapを使わない選択をした話 - MonotaRO Tech Blog
こんにちは、プラットフォームエンジニアリング部門コンテナ基盤グループの岡田です。 当社ではECサイトの裏側で利用されているモノリシックなAPIをコンテナ化し、Elastic Kubernetes Service (EKS) に移行しました。 移行直後は下記のようにトラブルに見舞われましたが、現状安定した運用ができています。 EKSコンテナ移行のトラブル事例：推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blog 今回はトラブル事例ではなく活用事例になりますが、アプリケーションリリース起因でのトラブル影響を減らすため、コンテナ化したAPIに対してカナリアリリース導入を行いました。そのため、導入に際して生じたConfigやSecret周りの課題
インターン生の高橋です．iOS アプリや 社内 API などの開発を行なっています． GCP の新サービスである Cloud Run を利用したので，簡単にご紹介したいと思います． Cloud Run とは サーバレスとコンテナ化を統合した Google Cloud Platform の新サービス．現在ベータ版． 2019/4/9 に開催された Google Cloud Next カンファレンスで発表された． なぜ Cloud Run を使ったのか？ 1. サーバレス サーバ領域に意識を割くことなくサービスの中心となる開発を進められる．そして自動スケーリング，使用した分だけの課金で良い，という利点もある．ステートレスな関数の集まりとなるため，マイクロサービスと組み合わせることが多くなる． 2. Docker によるコンテナ化 Docker を用いたコンテナ化では，Dockerfile を用
GCP Shared VPCを利用した全社共通ネットワークの運用におけるDedicated Interconnect利用設定の最適化手法 - ZOZO TECH BLOG
はじめに こんにちは。気がつけば4月でZOZOTOWNに関わって9年目を迎えるSRE部の横田です。普段はSREとしてZOZOTOWNのリプレイスや運用に携わっています。 本記事ではGoogle Cloud PlatformでShared VPCを採用し全社共通ネットワークを構築した背景とその運用方法について説明します。 ZOZOTOWNとパブリッククラウド専用線 まずはZOZOTOWNとパブリッククラウドを接続する専用線について説明します。 数年前まではZOZOTOWNを支える基盤は、ほぼ全てがオンプレミス環境で稼働しており、以下の課題がありました。 システムが密結合であること アジリティの低さ これらを解決するためにパブリッククラウドを活用したマイクロサービス化が日々進んでいます。 現在パブリッククラウドはAmazon Web Services（以下、AWS）とGoogle Cloud
この記事は新野淳一氏のブログ「Publickey」に掲載された「Google、マルチクラウド基盤「Anthos」のAWS正式対応を発表、Azure対応も作業中。サービスメッシュのVM対応も」（2020年4月24日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Googleはこのほど、Kubernetesをベースにオンプレミスやマルチクラウドを実現する「Anthos」のAWS正式対応を発表しました。 Anthosは、Kubernetesによってインフラレイヤを抽象化することにより、コンテナ化したアプリケーションをクラウドやオンプレミスなどインフラの種類や場所を気にせず実行できるハイブリッドクラウド／マルチクラウドを実現する基盤です。Googleがマネージドサービスとして提供し、利用者は全体をAnthosのコンソール画面から統合管理可能になります。 これまでパブリッ
2020 年 1 月 30 日（木）開催 Google Cloud Anthos Day - Kubernetes を使った最新の開発アプローチを学ぶ
ご参加いただきありがとうございました 各セッションの講演資料とセッション記録動画を公開しております。 スケジュールに記載の「講演資料」「セッション記録動画」のリンクからご覧いただけます。 Google Cloud Anthos Day 事務局 [email protected] マイクロサービス、DevOps、コンテナの利用やクラウドネイティブなアプリケーションの先進事例について学ぶ Google Cloud Japan は 2020 年 1 月 30 日 （木）に 「Google Cloud Anthos Day（「Google Cloud Kubernetes Day」は、「Google Cloud Anthos Day」に名称を変更いたしました）」を開催いたします。 開発エンジニア、インフラエンジニア、運用エンジニア向けにマイクロサービス、DevOps、コンテナの利用やクラウドネイテ
The following is a correction to the previously posted ISSUE SUMMARY, which after further research we determined needed an amendment. All services that require sign-in via a Google Account were affected with varying impact. Some operations with Cloud service accounts experienced elevated error rates on requests to the following endpoints: www.googleapis.com or oauth2.googleapis.com. Impact varied
Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の
はじめに ブンブンハローテックブログ。エムスリー AI・機械学習チームでエンジニア兼YouTuberをやっています河合と笹川です*1。本記事は、AIチームが社内向けに提供を初めたビジュアライズアプリケーションに関する解説の記事です。 GKE上のStreamlitサーバのホスティング設定と、機械学習エンジニアが社内向けの可視化を行う際の一例として、参考となれば幸いです。 はじめに Background Streamlitとは Streamlitの特徴 アプリケーション、インフラ構成 おわりに We're hiring Background 一般的に「機械学習エンジニアが社内向けの可視化アプリケーションを作る」といったケースでは、以下のようなシステム利用が考えられるかと思います。 HTML、xlsx、Googleスプレッドシートなどを作成、配布する S3、GCSのようなストレージの静的サイトホ
Tomcat Javaアプリケーションのコンテナ移行自動化ツール群「Tomcat modernization flow」、Google Cloudがプレビューリリース
Google Cloudは、Apache Tomcatで実行されているJavaアプリケーションを自動的にコンテナ環境へ移行してくれるツール群「Tomcat modernization flow」のパブリックプレビュー版をリリースしました。 Apache TomcatはJavaでアプリケーションサーバを実装するプラットフォームとして人気の高いアプリケーションンサーバです。ただしApache Tomcatが登場し普及した時期はDockerコンテナなどの技術が登場する前であるため、多くのApache Tomcatは仮想マシンなどの上で稼働していると見られます。 Google Cloudが発表したTomcat modernizatio flowは、この仮想環境上のApach Tomcatの情報を自動的に収集し、移行計画を策定、Google Kubernetes Engine（GKE）などコンテナ環
登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ
ABEJA Insight for Retailの技術スタックを公開します (2021年10月版） - ABEJA Tech Blog
初めに 会社・事業紹介 ABEJA Insight for Retailについて 技術スタック 全体アーキテクチャ図 ① 映像録画・解析システム ②データ基盤部分 ③ Webダッシュボード その他 (全体共通部分) 一緒に働く仲間を募集中！ 最後に 初めに こんにちわ。大田黒（おおたぐろ）です。暑い日が落ち着いてきて、秋(冬？）が来たなぁと感じるこの頃です。皆様いかがおすごしでしょうか。前回の「ABEJAの技術スタックを公開します (2019年11月版)」が公開されてからしばらく経ちました。 引き続きエンジニアの方とお話させていただく中で、 「ABEJAってよく聞くけど...実際どんなことやってるのかよくわからない」 「AIのお硬いSIerって感じなんでしょ？」 「社内は機械学習エンジニアばっかりなんでしょ...??」 といったご質問をいただくことが多いです。 今回の記事では､最新の会社や
ABEMA における GKE スケール戦略と Anthos Service Mesh 活用事例 Deep Dive
Google Cloud Day 2023 東京では、大規模イベントを生中継するにあたって、我々 ABEMA がどのように準備をしてきたか、Google Cloud の活用事例を紹介しました。 今回は GKE スケール戦略と Anthos Service Mesh 活用事例の Deep Dive 編として、GKE スケール戦術 7 選と Anthos Service Mesh 活用術 7 選を紹介します。ここ数年間、我々 ABEMA が試行錯誤によって蓄積してきたディープな知見をお伝えできれば嬉しいです。
この記事は、Supershipグループ Advent Calendar 2021の17日目の記事になります。 はじめに この記事ではeBPFを活用してLinuxカーネルにフック用プログラムを注入することにより、ネットワークパケット処理を拡張する例を示します。 その実装にあたり、Rustとlibbpfの統合を行うlibbpf-rsを使った開発体験を記したいと思います。 TL;DR libbpf-rsによってRustとeBPFを組み合わせたプログラムのコンパイルやロード処理の手間は省けるようになります。実際、システムコールの呼び出し部分はほとんど意識する必要がありませんでした。 一方でeBPFプログラミングで特に苦労したのは以下の点でした。 デバッグとテスト つまりeBPFプログラミングにおいて周辺的な問題がツールによって解決されていき、よりプログラムの機能そのものの問題に時間を割くことができ
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行 Googleは、Google Kubernetes Engineの新機能として、Kubernetesの運用を自動化する「Google Kubernetes Engine Autopilot」（GKE Autopilot）の正式リリースを発表しました。 #Kubernetes の革新的な運用モードである GKE Autopilot をリリース。GKE ユーザーは 2 つの異なる運用モードを選択できるようになりました。Autopilot は GKE の幅広い既存機能だけでなく、パートナーのソリューションとも互換性が維持されるよう設計されています。https://t.co/Dyhj0V4lU7 #gcpja pic.twi
Shifting to Zero Touch Production | Mercari Engineering
Author: Dylan Lau (@aidiruu), Platform DX Team Zero Touch Production (ZTP) is a concept where all changes made to production are done by automation, safe proxies or audited break-glass systems. There are many kinds of production outages that stem from human error, such as: Configuration errors Script errors Running commands in the wrong environment ZTP can mitigate the risk of outages from these e
BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み - ZOZO TECH BLOG
こんにちは、データ基盤の開発・運用をしている谷口（case-k）です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と利便性の両立 データ基盤を保守運用しやすい 秘密情報をテーブルに新規追加しやすい 秘密情報の権限管理がしやすい ポリシータグを活用したデータ連携の仕組み 利用者が参照するデータ連携後のテーブル 2つのデータ連携基盤 日次データ連携基盤 基幹DBからBigQuery(Private)へのロード BigQuery公開環境への書き込み リアルタイムデータ連携基盤 BigQueryロード前にマスクしたカラムを追加 BigQueryへのストリーミング
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[GCP] GCPサービスを勝手にまとめてみた(セキュリティ編) - Qiita
Kubernetesでステートフルアプリをどう動かすか
GKEとIstioを使ってテスト環境を増殖させた話 | Geppoプロダクトブログ｜かしたか
GCPでのディープラーニング学習環境構築方法 - Qiita
Cloud Run で NEWS ランキング API を作った話 - エムスリーテックブログ
もっとGCPが使いやすくなる!? GKE Config Connectorを試してみた！
画像検索システム再設計のお話 | メルカリエンジニアリング
Rails アプリケーションを Cloud Run にデプロイする - こうさくきろく
Ingress の進化版 Gateway API を解説する Part 1 (シングルクラスタ編)
Cloud Run 使ってみた - エニグモ開発者ブログ
コンテナのセルフホストランナーの中でコンテナを使えるようにするrunner-container-hooks
正しい負荷をかけ、効果的・効率的に試験し、適切に評価する バックエンドの負荷試験の実施と評価で大切なこと
NGINXがKubernetes向けサービスメッシュ「NGINX Service Mesh」を発表
10Xで5年働いてきて学んだこと | wapa5pow blog
未知の脅威に対抗するメルカリのCI再設計 | メルカリエンジニアリング
【Kubernetes】未経験から1か月経ったので振り返る - APC 技術ブログ
GCPの新サービス「Cloud Run」を「Django」で試す — HACK The Nikkei
Google、マルチクラウド基盤「Anthos」のAWS正式対応を発表 Azure対応も作業中
Google Cloud Status Dashboard
GKEでStreamlitをホスティングして社内用アプリを作った話 - エムスリーテックブログ
ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
libbpf-rsを使ったRustとeBPFプログラミング - Qiita