https://googlecloudcheatsheet.withgoogle.com/architecture
Google Cloud Session_内間 和季_CloudNative Days Tokyo 2022
Google Kubernetes Engine (GKE) で実現する運用レスな世界 Google Cloud アプリケーション モダナイゼーション スペシャリスト 内間 和季 Table of Contents Google Kubernetes Engine (GKE) 概要 ワークロードやノードのリソース管理 クラスタのアップグレード / 脆弱性対応 エコシステムの運用 まとめ 01 02 03 04 05 Google Kubernetes Engine (GKE) 概要 01 Google Kubernetes Engine - Standard Google のマネージド Kubernetes 環境 ● 自動でスケーリング、 アップグレード、ノード修復 ● Kubernetes 運用のベスト プラクティスをマ ネージド サービスとして提供 ● セキュリティとコンプライアンス
全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG
こんにちは、データ基盤の開発、運用をしていた谷口（case-k）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ基盤を作ろうとしている方の参考になると嬉しいです。 データ基盤の紹介 旧データ基盤の紹介 旧データ基盤の課題 変更があっても更新されないデータ 性質の異なるテーブルを同じ命名規則で管理
IAP越しのAnsible SSHを高速に実行できるようにする - フラミナル
IAP越しのSSHを行ってAnsibleを操作する場合、ネットを調べると以下の二つが存在するようです。 wrapper shellを使用する iap-tunnelコマンドをProxyCommandとして追加してSSHをする 最初1を使っていたのですがあまりにも遅すぎてストレスが溜まっていたので2を検討しました。2を設定するにあたり自分の環境ではうまく動作しなかったのでサンプル込みでここに載せておきます。 改善結果としては以下の通り。（自分が動かしているroleでは） 22min33sec → 37sec はやすぎる・・・。 肝はこのブログの内容を参考にしております。大変助かりました！！！ tech.griphone.co.jp 設定した内容 構造 ├── ansible.cfg ├── group_vars │ └── all.yaml ├── inventory │ └── gcp.y
Enabling keyless authentication from GitHub Actions | Google Cloud Blog
GitHub Actions is a third-party CI/CD solution popular among many Google Cloud customers and developers. When a GitHub Actions Workflow needs to read or mutate resources on Google Cloud – such as publishing a container to Artifact Registry or deploying a new service with Cloud Run – it must first authenticate. Traditionally, authenticating from GitHub Actions to Google Cloud required exporting and
分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQueryの利用状況 課題感 課題感1: 適切なFlex Slotsのスロット数をどう決めるか 課題感2: 過去の期間との実行時間は単純には比較できない 解決策 解決策1: 同一のクエリを定期的に動かし、実行時間をCloud Monitoringで計測 解決策2: 計測用オンデマンドのGCPプロジェクトでもクエリを実行し、理想状態との相対実行時間を知る まとめ モノタロウでのBigQueryの利用状況 モノタロウでは様々な意思決定の場面でデータ活用が行なわれて
Compute Engine #GCPSketchnote
Shortly after I started creating and sharing visual explanations of Google Cloud concepts in late 2020, I began receiving overwhelmingly positive feedback from fellow cloud architects and enthusiasts. That feedback led me to think about pulling these sketches together into a reference guide - a one stop shop for easy access and cloud learning fun. So here it is! Introducing.... Order now! Amazon B
Table sampling | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Table sampling Table sampling lets you query random subsets of data from large BigQuery tables. Sampling returns a variety of records while avoiding the costs associated with scanning and processing an entire table. Using table sampling To use table sampling in a query, include the TABLESAMPLE clau
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsが2021年版のレポートを公開
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsが2021年版のレポートを公開：三大クラウドの処理性能はどう違う？ Cockroach Labsは、Amazon Web ServicesとMicrosoft Azure、Google Cloud Platformの処理性能を比較した年次レポートの最新版を公開した。3つの主要クラウドの処理性能がかなり異なることが分かった。 Cockroach Labsは主要クラウドサービスの処理性能を比較した年次レポートの最新版「2021 Cloud Report」を公開した。 ベンチマークの対象となったのは、「Amazon Web Services」（AWS）と「Microsoft Azure」（Azure）、「Google Cloud Platform」（GCP）。 3年目となる今回のレポートは過去のレポートと比較して、よ
Google Cloud ソリューション デザイン パターン を公開 | Google Cloud 公式ブログ
Google Cloud では、オンラインでのイベントや開発ドキュメント、リファレンス アーキテクチャなど、様々な技術的コンテンツを公開しています。これらのコンテンツは Google Cloud をご利用いただく皆様に、大変ご好評いただいています。 この度、 Google Cloud のソリューションをさらにご活用いただきやすくするために、Google Cloud ソリューション デザイン パターン を公開しました。Google Cloud ソリューション デザイン パターン では、ワークロードごとに Google Cloud のアーキテクチャを 2 つの観点でまとめています。 1 つ目は、業界を横断して利用できる共通デザイン パターンです。「エンタープライズ向けの組織、 IAM、請求管理」、「インフラストラクチャとマイグレーション」、「アプリケーションおよびデータベースのモダナイゼーショ
Artifact Registry is GA | Google Cloud Blog
Accelerate State of DevOps ReportGet a comprehensive view of the DevOps industry, providing actionable guidance for organizations of all sizes. Download As enterprises modernize their applications with improved software delivery processes, they face increasing challenges in managing their dependencies—the artifacts that make up their applications, deployed in accordance with security and complianc
Terraform による迅速なクラウド基盤の構築とワークロードのデプロイ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は去年、ベスト プラクティスに従って強固なクラウド基盤を迅速に構築するため役立つオープンソースのテンプレートとして、Cloud Foundation Toolkit をリリースしました。これらのモジュールは Terraform infrastructure-as-code フレームワークと、Google の Cloud Deployment Manager の両方で利用できます。 本ブログ投稿では、Cloud Foundation Toolkit Terraform のサンプル基盤 を使用して、安全なクラウド基盤を構築する方法について詳しく解説します。その次に、Terraform を使用してマイクロサービスのデモアプリケーションを基盤上にデプロイする方法
GitHub - terraform-google-modules/terraform-example-foundation: Shows how the CFT modules can be composed to build a secure cloud foundation
This stage executes the CFT Bootstrap module which bootstraps an existing Google Cloud organization, creating all the required Google Cloud resources and permissions to start using the Cloud Foundation Toolkit (CFT). For CI/CD Pipelines, you can use either Cloud Build (by default) or Jenkins. If you want to use Jenkins instead of Cloud Build, see README-Jenkins on how to use the Jenkins sub-module
Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表
Google Cloudは2020年7月14日（米国時間）、アナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。Amazon Web Services（AWS）やMicrosoft Azure上のデータを動かすことなく、BigQueryによるマルチクラウドのデータ分析ができる。 Google Cloudは同日、AWSの「Amazon S3」に対応したプライベートα版の提供を開始した。Azureへの対応は近い将来（「soon」）に行うという。 BigQuery Omniでは、Google Cloudがマルチクラウド対応を進めるマネージドKubernetesサービス、「Anthos」を活用する。BigQuery OmniとしてAWSやAzureに展開するAnthosクラスタ上で、BigQueryのクエリエンジンである「Dremel」をマネージドサービスとして動かす。その上
Serverless NEG でシステム開発をより柔軟に
はじめに以前 Yuki Furuyama さんが「NEG とはなにか」という哲学的な(?)記事を書かれていましたが、このたび「Serverless NEG」(Serverless Network Endpoint Group)という新しいタイプの NEG が追加されました。(まずは Beta でのご提供です → EDIT(2020–10–14): 2020年10月14日に GA になりました。) これで NEG は Zonal NEG、Internet NEG、Serverless NEG の三種類になりました。 Furuyama さんの Zonal NEG に関する記事には「NEG は Kubernetes の Service に相当するもの、Network Endpoint は Pod に相当するものです」とありましたが、Serverless NEG では「Network Endpoi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2023年のBigQuery権限管理
Connectivity Tests overview | Google Cloud
MLOps: Continuous delivery and automation pipelines in machine learning | Cloud Architecture Center | Google Cloud
professional-services/tools/cloudconnect at main · GoogleCloudPlatform/professional-services
Google Cloud security foundations guide