AWS Control Towerを利用したマルチアカウント管理とセキュリティ統制JAWS DAYS 2021の登壇資料です。 詳細はブログをご参照ください。 https://dev.classmethod.jp/articles/jaws-days-2021-control-tower/
データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU
Infrastructure as Codeにおける理想のドキュメント管理を目指して #infrastudy | DevelopersIO
インフラをコードで管理するInfrastructure as Codeだからこそ、必要なドキュメントについての考察とそれの管理方法についてLTした様子です。 「なんや、この視聴者数… 震えが来るぜ・・・」 先日開催されたInfra Study Meetup #2「VM時代の開発とCloud Native時代の開発」 - connpassにおいて、「IaCにおける理想のドキュメント管理を目指す」という内容でLTしてきましたので、その内容をお届けします。 当日は、イベント内容も登壇者も超絶豪華で、なんとリアルタイム視聴者数1000人超えということで、さすがに自分も緊張しました。まじで。 青山さんのメインテーマがKubernetesの話であり、前後それに関わるテーマが中心の中、Kubernetesもコンテナも1ミリもでてこない発表にしたのですが、IaCに関わる普遍的な考慮ポイントについて喋れたの
[GCP] berglasを使って機密情報を安全にアプリケーションに受け渡す | DevelopersIO
はじめに アプリケーションには、DBの認証情報やAPIキーなど、リポジトリにはコミットするべきではない機密情報がつきものですよね。AWSでは、情報を暗号化／復号化するための鍵を管理するAWS KMSというサービスと、鍵を使って情報を管理するためのAWS Systems Manager パラメータストアやAWS Secrets Managerというサービスが統合されており、それらを使うことで機密情報を管理することができ、他のAWSのサービスとも統合されているのでアプリケーションへの受け渡しも容易です。 GCPでは、Cloud KMSという鍵を管理するためのサービスはありますが、鍵を使って情報を管理するためのサービスはないため、GCPが開発しているOSSのBerglasというツールか、HashiCorp社のOSSであるVaultを使って管理することが推奨されています。 本記事ではBerglas
![[GCP] berglasを使って機密情報を安全にアプリケーションに受け渡す | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/da7c587418d429542df40edb4a6b88ca1d7ff6d7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F10%2FGoogleCloudPlatform_berglas__A_tool_for_managing_secrets_on_Google_Cloud.png)
GCP連載#5【もう鍵なくさない】GCPのSecret ManagerとBerglasで幸せになる | フューチャー技術ブログ
前書きこんにちは、TIG所属インフラエンジニアの市川です。GCP連載の5本目です。 突然ですが、普段生活するうえでカギ🔑をなくした、忘れたことはないでしょうか。私はあります。なくしたことはないけど、うっかり置き忘れちゃうんですよね。 それがことインフラ構築の場面ではどうでしょうか。最近はとにかく多くのカギを管理しなくてはなりません。API Keyとか気づいたら何が何だか分からなくなり、苦渋の決断の末、再度払い出すことも多いのでは無いでしょうか。検証ならまぁ…ギリギリですが、本番ではやっちゃダメ絶対です。 ということで、そんな管理人の皆さんに朗報です。 遂にGCPにシークレット管理機能がやってきました！ CLIツールのBerglasとGUIで管理するSecret Managerを簡単にご紹介したいと思います。 Berglasを使ってみるサクっと利用するならCloud Shellだよね！とい
中規模プロジェクトでの GCP権限管理(アクセス制御)ベストプラクティス - Qiita
GCP(Google Cloud Platform)の開発・運用者へ付与する権限の管理について、現状のベストプラクティスを考えてみました。 ※Googleが推奨する権限管理の形とは異なる部分があります。あくまで個人の考えたベストプラクティスですので、ご了承下さい。 目次 はじめに なぜ権限管理が必要なのか どうしたいのか GCPの権限管理 アクセスする主体と役割の管理方法 アクセス対象と権限の管理方法 GCP権限周りの困りポイント・注意すべきポイント こんな運用もあり 現状のベストプラクティス ←時間のない人はこちら コード化して管理する 運用してみて良かったこと・課題と今後 おわりに はじめに GCPの権限管理(IAM)周りについての基礎知識はこちら。 Cloud IAM 概念 Google Cloud Platform(GCP)のCloud IAM Qiita記事, GSuiteやCl
オンプレミスと GCP 間のネットワーク接続 | BLOG - DeNA Engineering
こんにちは、IT 基盤部ネットワークグループの谷崎です。 DeNA のインフラは現在オンプレミスデータセンタ（以下、オンプレ DC）からパブリッククラウド（以下、クラウド）へ移行の過渡期にあります。 そこで我々ネットワークグループはオンプレ DC とクラウド間のセキュアな通信を提供すべく、プライベートネットワークを設計、実装しました。 今回はその中でも GCP とのプライベートネットワーク（以下、内部通信）についてご紹介いたします。 なお、3 月開催の DeNA TechCon 2020 にて AWS との内部通信を含めたセッション内容で 登壇 いたします。 興味のある方は足をお運びいただけますと幸いです。 従来の構成 全社的なクラウドへの移行方針が決定する以前から小規模にはクラウドを利用しており、GCP との内部通信は下記のような構成で運用していました。 各プロジェクトの VPC で C
「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」を１年掛けて整理した
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
【個人的には神ツール】AwsOrganizationFormation（OSS）でAWS Organizationsをコードで管理する | DevelopersIO
【個人的には神ツール】AwsOrganizationFormation（OSS）でAWS Organizationsをコードで管理する 中山（順）です 「AWS Organizationsをコードで管理したい・・・」 そんなことを思ったことはありませんか？ 今日はAwsOrganizationFormationというOSSのご紹介です。 READMEには以下のように記載されています。 AWS Organization Formation is an Infrastructure as Code (IaC) tool for AWS Organizations. OlafConijn/AwsOrganizationFormation AWS Organizationをコードで管理するツールのようです。 これは俺得。 AwsOrganizationFormationの機能 主要な機能として、以
Terraformでインスタンスの停止ができない理由を考えたらInfrastructure as Codeへの理解が深まった話 - Fire Engine
こんにちは、筋肉系インフラエンジニア見習いのつるべーです。 私は今、GMOペパボ株式会社でペパボカレッジという第二新卒エンジニア向け研修を受けている真っ最中です！ 今回のエントリーは、私が研修中に感じた素朴な疑問を会社のコミュニケーションツールに書いたら、そこから議論が広まって、最終的にはInfrastructure as Codeという重要な概念への理解を深めることができたよ、という話です。 Infrastructure as Codeって？ Infrastructure as Codeを一言で表すと「コードによりインフラの管理をすること」です。 コードで管理することのメリットとしては、 コードのバージョン管理ができる 設定変更の適用前にプルリクエストベースで確認が行える 設定の共有・再利用が容易である オペレーションミスが防げる インフラ構築の属人化が防げる などが挙げられます。 現在
やわらかVault - Pepabo Tech Portal
最近、5kgの重しを背負って懸垂していますプリンシパルエンジニアの @linyows です。 みなさん、NHKの「筋肉は裏切らない！」（正しくは筋肉体操）見てますか？ … はい。ですよね。 GMOペパボは、ロリポップ！やminneなど様々なサービス（microservices的なものではない）を運営しており、それぞれにおいて、秘密情報を管理している状態にあります。この秘密情報を独自に管理するのは、専門のスキルやノウハウとしてあらゆるコストがかかります。 そこで僕（ら）は、秘密情報管理ソフトウェアであるHashiCorp Vaultを各サービスに導入し、サービスを堅牢にするというゴールをもとに社内でVaultのWorkshopを幾度となく開催しています。 今回は、そのWorkshop「やわらかVault」のご紹介です。 やわらかVault これは、HashiCorp Vaultを正しく理解し
The Tao of HashiCorp 日本語参考訳 | Pocketstudio.jp log3
The Tao of HashiCorp – HashiCorp https://hashicorp.com/blog/tao-of-hashicorp.html blogの投稿で紹介されている内容が興味深く、自分の情報整理がてら、参考訳を作成していました。例によって、このまま眠らせておくのも勿体ないので、公開します。間違い等ありましたら、ご指摘ください。 ■HashiCorp道（The Tao of HashiCorp） この Tao of HashiCorp (HashiCorp道)とは、ビジョンやロードマップやプロダクト・デザインにあたっての基礎となるものです。あなたがHashiCorpのプロダクトの使用や貢献にあたり、私達の仕事に対する動機や意図を理解するための手助けになるでしょう。 ■ワークフローであり、技術ではない（Workflows, not Technologies） Ha
GitHubで管理されたデータマート構築基盤の紹介 - ZOZO Technologies TECH BLOG
こんにちは。バックエンドエンジニアの田島(@katsuyan121)です。 弊社ではデータマートをBigQuery上に構築しています。データマートはデータベース全体のデータのうち、必要なデータだけを使いやすい形にしたデータベースです。データマート作成のためのSQLクエリは日々更新や追加があり、BigQueryのコンソールから自由にデータマートを作ってしまうと管理が大変になってしまいます。 そこで、データマートをすべてGitHub上でバージョン管理し、運用の効率化をしました。また、差分更新の導入や依存関係のあるデータマートへの対応などのデータマート構築に必要な機能を作成しました。 弊社のデータ基盤をざっくり紹介します。まずデータはBigQueryへ集約し、Digdagを用いてデータ基盤を構築しています。以下がその概要図です。S3などの分散ストレージや各種DBからデータをBigQueryへ同期
Graylog ではじめるログ管理 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
多機能なログ管理システム「rsyslog」の基本的な設定 | さくらのナレッジ
多くのLinuxディストリビューションで採用されているsyslogサービス「rsyslog」は現在でも活発に開発が進められており、ネットワーク経由でのログ転送だけでなくログの整形や柔軟な条件分岐、さまざまなデータベースへのログ出力サポートといったさまざまな機能が追加されている。本記事ではまず入門編として、このrsyslogの基本的な機能や設定方法について紹介する。 クラウド環境ではログ収集手法の検討が必須 昨今ではサービスのインフラとしてクラウドサービスやコンテナを利用するケースが増えている。こういったクラウドサービスでは、インスタンスを削除すると、そのインスタンスに割り当てられていたストレージは消滅してしまうことが多い。一部のクラウドサービスではストレージを削除せずに残すことも可能だが、その場合別途コストがかかるのが一般的だ。Dockerなどのコンテナでも同様にコンテナの削除後はそのコン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vault Enterpriseについて（１）
HashiCorp Consul 紹介
HashiCorp Vault 紹介
Kubernetesクラスタの自動管理システムのつくりかた
仕事で使うWebサービスの1画面統合アプリは「Station」が最高だと思います｜男子ハック
