クラウドでもsuが出来る! GCPにPAM(特権管理)がついに登場
はじめに Linuxの良い所の一つにsuやsudoと言った特権管理の仕組みがあります。普段は通常アカウントで入って、例えばインストールなどの特権作業が必要な時だけsu/sudoで一時的な権限昇格が可能ですし、/etc/pam.dで誰がどのユーザにスイッチ出来るかなどは細かく制御できます。 一方で、クラウドの権限管理は悩みの種で、誤操作が怖いので普段はRead Onlyの権限にしておきたいのですが、手軽に権限を昇格する方法がありません。なので、別の管理者ユーザを作って、そちらでログインしなおしたり、それを半自動化するCyberArkやBeyondTrustといったPAM系ソリューション、あるいは最近流行りのCIEM(PAM機能を持つもの)を導入する必要がありました。 Azureでは結構以前からPIM(Privileged Identity Management)がネイティブで組込まれており非
［速報］Google、同社初の独自Armプロセッサ「Google Axion」発表。x86ベースの仮想マシンより50％高速と。Google Cloud Next '24
Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、同社初となる独自Armプロセッサ「Google Axion」を発表しました。 Google Cloudによると、Axionは現世代のx86ベースの仮想マシンと比較して50％の性能向上と、60％優れたエネルギー効率を実現しており、さらに現在クラウドで利用可能な汎用Armプロセッサと比較して30％高い性能を提供するとしています。 AWSとマイクロソフトはすでに独自Armプロセッサを発表済み Armベースのプロセッサは、すでにAWSとマイクロソフトがそれぞれ発表済みです。 AWSは2018年に独自のArmプロセッサである「Graviton」を発表しており、2023年には最新版の「Graviton4」を発表しています。 マイクロソフトは昨年（2023年）に同社初のArmベースの独
Cloud RunサイドカーとURLマスクを活用したWINTICKET Webの検証環境改善 | CyberAgent Developers Blog
今回、Dark Canaryリリースの仕組みを拡張し、Pull RequestごとにDark Canary（以後PR Dark Canary）環境を作成する仕組みを整備しました。これにより、本番と同じURLでPull Requestごとの環境に接続して動作確認ができるようになりました。本記事ではその技術構成や運用について紹介します。 開発プロセス上の課題 WINTICKET Webの開発プロセスは、フィーチャーフラグを用いたトランクベース開発を中心に行われています。しかし、複雑なリファクタリングや大規模な機能追加の場合など、フィーチャーフラグでは管理しきれないケースも存在します。 このような場合、Pull Requestに連動したプレビュー環境での品質管理（QC）を試みますが、ドメインの違いやCDNの非配置など、開発環境との差異によって動作検証が困難なケースがあります。この場合、開発環境（
sinmetalはなぜGoogle Cloudが好きなのか？
Google Cloud Champion Innovators Advent Calendar 2023 の1日目の記事です。 Advent Calendarの初日ということもあり、筆者がなぜGoogle Cloudが好きなのかについて。 筆者が初めてGoogle Cloudに出会ったのは2011年で、 App Engine に恋い焦がれてから、ずっとGoogle Cloudを使い続けています。 現在、仕事ではかなり大きなシステムをGoogle Cloudで扱っていますが、個人で小さなシステムを作るのも好きです。 そんな小さなシステムから大きなシステムまで作れるところも魅力に感じています。 この記事では個人でよく作っている小さなシステムに注力しています。 筆者が魅力に感じているGoogle Cloudの思想としてDatacenter as a Computerがあります。 日本語だとGo
Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace（FUSE）は、ファイル システムを Linux カーネル
1 つのプロジェクトで複数の Firestore データベースを管理 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 7 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 このたび、Google Cloud の単一プロジェクトにおける複数 Firestore データベースのサポートを開始しましたので、お知らせいたします。1 つのプロジェクトに複数のデータベースを作成し、顧客データやマイクロサービス、開発 / テスト / ステージングの各種環境を隔離して管理できるようになりました。 この複数データベースのサポートには以下の機能が含まれます。 Firestore データベースの CRUD 管理: Firestore で新しい API エンドポイント、Terraform リソース、gcloud CLI コマンド、Firebase CLI コマンドを使用して、1 つ以上の Firestore データベースを管理できるようになりました。 Identi
Google Cloud で "バッチ ジョブ" を実行する 2 つの方法
こんばんは、カスタマーエンジニアの Ax(あっくす)こと小野です。 この記事は、Google Cloud Japan Advent Calendar 2022 - 今からはじめる Google Cloud の 24 日目の記事になります。 クリスマスまであと少し！ということで、サンタさんに伝えたいことない？と毎日子供に聞いている今日このごろです（※）。 （※: 執筆開始した時点(2022/12/12)の話です。我が家に煙突はありませんがきっとプレゼントは無事に届くはずです） TL;DR; Google Cloud では "バッチ ジョブ" をマネージド・サービスで実行することができる Batch と Cloud Run jobs が代表例となる Cloud Run 使いは制約を満たせるなら Cloud Run jobs がお勧め Google Compute Engine (以降、GCE)
Google CloudのVPCを基礎から始める
こんにちは。Google Cloudのカスタマーエンジニアの有賀です。 この記事はGoogle Cloud Japan Advent Calendar 2022 の「今から始める Google Cloud」編の4日目の記事です。（3日目はTakayukiさんの「Cloud CDNのキャッシュと動的圧縮でコンテンツ配信のパフォーマンスを向上しよう」でした。） 本記事ではタイトルの通り、Google CloudのVPCの基礎的な内容をご紹介したいと思います。VPCを作ったり、ファイアウォールを設定したり、と Compute Engine VM を作れるようになるまでの下準備をします。（Compute Engineの話題は次の記事で取り上げられます。) TL;DR グローバルなVPCを設定できる。カッコイイ！マルチリージョン構成も簡単！ サブネットはリージョン単位。ゾーン単位ではない。 defa
詳解 Google Compute Engineへの接続
こんにちは。Google Cloudのカスタマーエンジニアの有賀です。 この記事は Google Cloud Japan Advent Calendar 2022 の「通常版」の（遅れてしまいましたが）9日目の記事です。 クラウド環境へのアクセス制限は、どのようなクラウドを使う場合でも必ず発生する非常に重要な設計・設定の1つだと思います。その中でもVMサービス（Google CloudだとCompute Engine）へのアクセス制限は多くの場合で必要になります。 そこで本記事ではまず、Compute Engine VMへの接続方法にはどのようなものがあるかを詳細に見ていきます。その上で最後に、それらの接続方法をどのように制限・コントロールをすればよいのか検討したいと思います。 TL;DR VMへの接続はVPCファイアウォールで制限 Identity-Aware Proxyの利用は、API
【書き起こし】Cloud SpannerとMerpayの歩み – sinmetal / apstndb 【Merpay Tech Fest 2022】 | メルカリエンジニアリング
【書き起こし】Cloud SpannerとMerpayの歩み – sinmetal / apstndb 【Merpay Tech Fest 2022】 Merpay Tech Fest 2022 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2022年8月23日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「Cloud SpannerとMerpayの歩み」の書き起こしです。 @sinmetal：こんにちは。ここからは私と@apstndbさんで「Cloud SpannerとMerpayの歩み」についてお話しします。 自己紹介 @sinmetal：@sinmetalと申します。ソリューションチームに所属しております。元々Google
New gcloud storage CLI for your data transfers | Google Cloud Blog
Introducing gcloud storage: up to 94% faster data transfers for Cloud Storage Cloud Storage customers often ask us about the fastest way to ingest and retrieve data from their buckets. Getting the best performance often requires the users to know the right flags and parameters to optimize transfer speeds. In many situations, customers are using Cloud Storage with other Google Cloud services and ar
Cloud RunとIdentity-Aware ProxyとGitHub ActionsでPull RequestごとのDeployment Previewを実現する - Hatena Developer Blog
マンガ投稿チームでWebアプリケーションエンジニアをしているid:stefafafanです。この記事では、最近私がチーム向けに整備したDeployment Preview環境の事例を紹介します。 Deployment Previewとはどのようなものか？ チームとして求める要件 実現したDeployment Previewの全体像 1. DockerイメージをビルドしてArtifact RegistryにpushしてCloud Runで動かすまで GitHub Actionsでどのように実現したか 2. ロードバランサーと証明書の準備、またServerless NEGによる振り分け Certificate Managerでワイルドカード証明書を取得 Serverless NEGを用意してURL MaskでCloud Runのリビジョンタグと対応づける Identity-Aware Prox
Cloud Run jobs を解説する
TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Task)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run で、バッチ処理などを行うための機能です。Cloud Run の第二世代の実行環境で動作し、「CPU を常に割り当てる」が適用されます。 従来の Cloud Run との違いは以下の通りです。 HTTP リクエストに依らない実行より長時間の実行 ( 複数の Task を組み合わせることにより 60 分以上の実行を実現 )明示的な並列処理注意: 2022 年 5 月 13 日現在、Cloud Run jobs
Google Cloud のブロックストレージの使い方
2020 年 7 月に新しい バランス永続ディスク（ pd-balanced ）と呼ばれる永続ディスクのディスクタイプが追加されました、この記事ではこの新しい永続ディスク タイプについても触れつつ、Google Cloud のブロックストレージの使い方について解説します。 この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 7 日目の記事です。前回は Yasushi Takata の「アプリケーションプラットフォーム選択におけるベストプラクティス」でした。 ちなみに本記事の公開日である 12 月 7 日は日本で初めてクリスマスツリーが飾られた日で、クリスマスツリーの日だそうです、みなさんクリスマスの準備は順調でしょうか？ tl;drGoogle Cloud のブロックストレージには永続ディスクとローカル SSD
Google Cloud Buildで、ジョブステップのグラフをプルリクエストでレビューできるようにする
概要Cloud Buildのビルド構成ファイルでは各ステップの実行順序を id, waitFor で制御しますが、大量のwaitForが書かれたビルド構成ファイルでは、どのような実行順になっているのかレビューができません。 これをレビューできるようにします。 こんな感じで、Cloud Buildのジョブステップの依存をグラフ画像にして比較できるようにします↓大量の waitForが書かれていてレビューが困難な例（我々のチームで使っている、開発サーバーをデプロイする際のCloud Build定義です。各ステップの細かい説明はしません） 17ジョブステップあるcloudbuild.yamlの例忙しい人向け説明cloudbuild.yamlが変更されているプルリクエストが作成されたとき、以下のことを行なうGitHub Actionを実装しました。 cloudbuild.yaml の各ジョブステッ
Streamlit on Cloud Run with Identity-Aware Proxy (IAP) - public note
タイトルのとおり、Cloud Run で Streamlit を動かしてみました。また、特定の人のみがアクセスできるように、Identity-Aware Proxy(IAP) での保護を試しましたので、その設定やコードを紹介します。 Cloud Run で動かすのはすぐにできたのですが、複数の Streamlit コードを認証付きでいい感じにホストする手段を探すのにかなり苦戦しました... Streamlit 構成図 ソースコード リクエストから Streamlit が起動するまで よいところ 設定のポイント ユーザ認証方法 Cloud Run の Ingress 設定 IAP で必要な権限 パスルール設定 リクエストURL に Streamlit の起動URLを合わせる サーバーレス NEG と Cloud Run の設置リージョン 参考にしたページ Streamlit Streamli
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DevFest Tokyo 2023: Google Cloudでチームで安全にデプロイをする
Cloud Storage release notes | Google Cloud
大規模レガシーテストを 倒すための CI基盤の作り方 / #CICD2023
Cloud Buildは2022/03/02のアップデートでどれだけ早くなったのか？