GCEからGCS操作時の権限エラーでサービスアカウントのIAM以外に疑うこと - G-gen Tech Blog
G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Compute Engine VM から Cloud Storage バケットを操作する時に起きる権限エラーについて、実際のエラー内容からサービスアカウントの IAM 権限以外に疑うこと、その対処法について紹介します。 前提知識 事象 原因 エラー文の違い 対処 アクセススコープの変更 手動で作成したサービスアカウントをアタッチ ユーザーアカウントの使用 前提知識 Compute Engine （以下 GCE）は、デフォルトでは PROJECT_NUMBER-compute@developer.gserviceaccount.com のサービスアカウントが設定されます。但し、このサービスアカウントにはプロジェクトレベルで 編集者（roles/editor）ロールが付与されており、広範囲な権限を持っているため
IAM Conditionsで特定のGCSバケットのみアクセスできるようにする
通常は、GCPプロジェクトに対してオーナー（Owner）や編集者（Editor）などの権限を付与すると、すべてのGoogle Cloud Storage（GCS）バケットにアクセスできてしまいます。そこで、一部の人に対して、特定のGCSバケットのみアクセスできるようにしたいと思います。 GCSバケットのアクセス制限について調べると、GCSバケット側で権限追加する方法が紹介されています。この方法は簡単なのですが、どのGCSバケットにどのユーザー、サービスアカウントがアクセス許可されているのかがわかりづらいです。 そこで今回は、IAM Conditionsの機能を使って、IAM側でGCSバケットのアクセス制御を行ってみます。 IAM Conditionsとは GCPのIAM（Cloud IAM）において、リソース名や時間などを条件にアクセス制御を定義する機能です。AWS IAMにおいてポリシー
【GCP】特定のGCSバケットに特定のユーザーしかアクセスできないようにする
やりたいこと GCSバケットを何も設定しないで作成すると、プロジェクトのOwner、Editor、ViewerはGCSバケットのオブジェクトを参照することができてします。 さらに、Organization 横断ユーザ(例: セキュリティ監査チームやGSuites管理者)などもアクセスできてしまいます。 たとえば、機密情報を管理するバケットを作る場合など、許可した特定のユーザーのみを、特定のバケットにアクセスを許可する方法を調べました。 結論 プロジェクトレベルのIAMで storage.objects.get の権限を付与しない プロジェクトレベルのIAMとはここで設定する権限のこと https://console.cloud.google.com/iam-admin/iam GCSバケットのアクセス制御は Uniform モードで作成する バケットの詳細ページでパーミッションを設定する
GCSライフサイクルの設定を要件定義から挑戦し学んだこと - バイセル Tech Blog
はじめに はじめまして、テクノロジー戦略本部で内定者インターンをしている馬場です。 現在、EC管理システムの開発に携わっています。 今回、EC管理システムのGoogle Cloud Storage(GCS)で管理しているオブジェクトのライフサイクルの設定を、要件定義から開発まで一貫して行いました。 その過程で経験した事業部の方へのヒアリングや、要件を満たすために試行錯誤する中で学んだことについて紹介します。 はじめに 背景 実施したこと GCSバケットを整理 ライフサイクルの設定 ライフサイクルとは 設定したライフサイクル Terraformの設定コード ライフサイクルの操作 ストレージクラス ライフサイクルの条件 結果 タスクを通して学んだこと 課題や目的などのゴールから逆算し、足りない情報を明確にすること 根本の課題や目的を見失わないこと 技術的な話は必要なことだけ噛み砕いて分かりやす
Cloud Storage(GCS)を徹底解説 - G-gen Tech Blog
G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 バケット オブジェクト メタデータ フォルダ パス Cloud Storage の詳細 料金 (詳細) ストレージクラス Soft delete ポリシー ライフサイクルマネジメント バージョニング バケットのリージョン (ロケーション) セキュリティ アクセス制御 IAM と ACL パブリック公開 パブリック公開の禁止 暗号化 保持ポリシー（Bucket Lock） オブジェクト保持（Object Lock） Autoclass Autoclass とは バケット作成後の
【BigQuery】外部テーブルを使いこなせ！ ファイルネームで絞ってスキャン量を減らす方法 - Qiita
やろうとしていること BigQueryの外部テーブルに対してクエリをたたく際に、何も指定しないとレコードを全スキャンしてしまいます。 今回はFILENAME 疑似列を使って、スキャン量を減らしていきたいと思います。 そもそもFILENAME疑似列とは GCSのような外部リソースを使った外部テーブルにおいて、ファイル名という疑似カラムが存在します。 そしてその疑似カラムをWHERE句等でフィルターすることで、BigQueryはそれに該当しないファイルを読み込むことをスキップします。 When the query has a filter predicate on the _FILE_NAME pseudo column, BigQuery attempts to skip reading files that do not satisfy the filter 早速クエリを例に見てみましょう
BigQuery に外部テーブルを定義して、GCS のファイルデータを SQL で参照してみた | DevelopersIO
こんにちは、みかみです。 AWS では S3 上のデータに直接 SQL クエリを実行できる Athena や、S3上のデータと Redshift のテーブルを結合できる Redshift Spectrum がありますが、GCP でも同様に BigQuery の external テーブルを使って GCS 上のデータを SQL で参照できるようなので、確認してみました。 外部データソースの概要 ｜ BigQuery ドキュメント やりたいこと GCS に格納したファイルに対して、BigQuery から SQL クエリを実行してデータを参照したい。 Cloud Storage データのクエリ ｜ BigQuery ドキュメント 制限事項 BigQuery の external テーブルを作成する場合、外部データソースと BigQuery のデータセットは、同一リージョンで作成する必要があります
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to transfer data from GCS to Google Drive
【Google Cloud】Workflows使ってみた～Part２～ - Sight-R（サイタル）