SREチーム 鈴木心之介 です。 職歴の空白 を経て参画しました。 社名変更して co.jp ドメインを複数保有する技術 の節は皆様ありがとうございました。 たぶんそのうち書かれるだろう「Dockerコンテナ移行しました」記事の先史時代の記録として、また、事業の成長に併走してきたEC2でのアーキテクチャの御焚上として奏上するものです。 問題意識 アプリケーションはRuby on Railsで実装し、インフラはAWSにEC2, RDS, S3を中核に構成してます。運用状況はEC2に限らず大変きびしく、早くどうにかしないと事業の成長の足枷になりそうでした。入社前のカジュアル面談で伺っていた情報と、入社後の情報収集から、大枠の問題意識を以下4つに絞りました。 デプロイメント セキュリティ スケーラビリティ ディザスタリカバリ どれも解決すべきで、優先順位にみなさま一家言あるかと思います。ただセキ
EC2のイメージ作成を劇的に効率化するEC2 Image Builderが発表されました！ #reinvent | DevelopersIO
EC2のイメージ作成を自動化するEC2 Image Builderが発表されました！ 「イメージの定期更新、いつも俺がやってるねんけど、これめんどくさい…」 何らかのカスタムしたEC2イメージを利用してシステムを運用している場合、そのイメージのメンテナンスは非常に手間がかかるものです。イメージにはいろんなアプリケーションが含まれますが、それらの更新をせずに放置したイメージを使い続けると、システム全体のセキュリティリスクが増大してしまいます。 そんな手間を一気に解決させるサービスが、今般、AWSからリリースされたEC2 Image Builderです。 Automate OS Image Build Pipelines with EC2 Image Builder | AWS News Blog 今まで手動で実行したり、Packerなどのサードパーティ製ツールを使って実装する必要があったイメ
GCPで基本に戻って始める実践 Infrastructure as code再入門#1 - VisasQ Dev Blog
こんにちは！ 2020年2月からSREチームにJoinしました木村です! 仕事をする上での座右の銘は「明日交通事故にあってもシステムと仕事を回せるようにすること」です。 基本に戻って始める。と表題では書いていますが、私元々はAWS職人でGCPに本格的にコミットしてからまだ3ヶ月位です! なのでヒィヒィ?言いながらGCPのキャッチアップに努めているわけですが今回は過去にAWSで得たInfrastructure as Codeの知識とビザスクに入社してキャッチアップで培ったGCPの知識を元に基本に戻って始めるGCPのInfrastructure as Code再入門ということで書かせていただきます。 尚実際に書き始めたら量が膨大になってしまったのでいくつかパートに分けて 書いていきたいと思っております。 今回やること GCPのCompute Engineをスコープとして Terraformを使
「ダブルチェックを頑張る」でごまかさない、スクウェア・エニックスのサーバ設定漏れ防止策：たくさんのサーバを一気に構築できる“自律構築の仕組み”とは（1/3 ページ） スクウェア・エニックスは膨大な数のゲームを提供している。当然、それらを支えるインフラも大量で、運用管理にかかる手間も大きい。「Cloud Operator Days Tokyo 2023」のセミナーを基に、大量サーバの最適な管理法を紹介する。 変化の激しい現在のビジネス環境において、アプリケーションやサービスもその変化に素早く対応する必要がある。もちろん、それを支えるインフラについても同様だ。クラウドサービスやIaC（Infrastructure as Code）などを活用し、効率的にインフラを管理している企業も多いだろう。 ただ、ある意味でインフラは生き物だ。作った当初は問題なくても、管理する対象が増えたり、長期間運用してい
闇が深いとは このくらいを指すものとします。 AMIの出所がわからない EC2インスタンスのAMI IDが、自前AMIになってる Linuxディストリはわかるが、起点にしたバージョンはわからない AMIがどうやってできたのかわからない sudo vi /etc/hoge.conf してるっぽい sudo yum install -y hoge してるっぽい wget https://~~~~/hoge.tar.gz から make install してるっぽい AMI更新手順がわからない 変更したい人々と、変更できる人々が違っている 実施できるのは、本番環境にSSHできる極少人数 簡単なはずのconfの変更も尻込みして進まない Dockerize & k8s移行とか盛り上がるけど、遠すぎて動きが鈍い AWS使っててもこれよりヤバい現場や、オンプレでさらにヤバい現場はいくらでもあるでしょうけ
Terraform、Docker、Kubernetesなどのテストを自動化する - Yevgeniy Brikman氏のQCon SFでの講演より
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
GCPで基本に戻って始める実践 Infrastructure as code再入門#4 - VisasQ Dev Blog
こんにちは! 2020年2月からSREチームにJoinしました木村です! 仕事をする上での座右の銘は「明日交通事故にあってもシステムと仕事を回せるようにすること」です。 基本に戻って始める。と表題では書いていますが、私元々はAWS職人でGCPに本格的にコミットしてからまだ3ヶ月位です! なのでヒィヒィ?言いながらGCPのキャッチアップに努めているわけですが今回は過去にAWSで得たInfrastructure as Codeの知識とビザスクに入社してキャッチアップで培ったGCPの知識を元に基本に戻って始めるGCPのInfrastructure as Code再入門ということで書かせていただきます。 前回はAnsibleのplaybookの実践的な使い方迄を説明しましたので、今回はAnsibleをProvisioningしたOSImageをPackerで作成する所までやっていきたいとおもいます
GitHub - lavabit/robox: The tools needed to robotically create/configure/provision a large number of operating systems, for a variety of hypervisors, using packer.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
How to test infrastructure code: automated testing for Terraform, Kubernetes, Docker, Packer and more
How to test infrastructure code: automated testing for Terraform, Kubernetes, Docker, Packer and more This talk is a step-by-step, live-coding class on how to write automated tests for infrastructure code, including the code you write for use with tools such as Terraform, Kubernetes, Docker, and Packer. Topics covered include unit tests, integration tests, end-to-end tests, test parallelism, retri
第590回で紹介したマルチプラットフォームな仮想マシン管理ツールである「Multipass」は、原則としてUbuntuサーバーのイメージを起動するように作られています。しかしながら実は任意の仮想マシンイメージの指定も可能です。そこでPackerで仮想マシンイメージを作成し、Multipassで管理する方法を紹介しましょう。 MultipassとPacker 第590回「Windows/macOS/Linuxで使える仮想マシン管理ツール『multipass』」で紹介したように、MultipassはWindowsやmacOS、Linuxでも使える仮想マシンを管理するツールです。DockerやLXDのようにコマンドラインから気軽に仮想マシンを起動・終了するような使い方を想定しています。 multipassは特に指定しなければサーバー版のUbuntuをベースイメージとして使います。もし自動的に
はじめに こんにちは、情報システム部 SRE 橋本です。 今回は我々のチームで運用効率化として構成しているVMインスタンスの自動的・自律的な構築を行う仕組みについて紹介したいと思います。 昨今、クラウド・プラットフォーム上で様々なマネージド・サービスが利用可能になっていますが、10年スパンで継続運用されているシステムでは移行難易度的にそれらのサービスを使うことが難しく、従来構成を維持してVMインスタンスを大量に構築する機会があります。我々の運用システムでもフロントエンドはGKE/コンテナ化が進みつつありますが、DBやKVSなどのデータストアはVMインスタンスで構築しています。 またMySQLなどのデータベースサーバではパフォーマンス等の要件により垂直・水平分割がすすんだ結果、構築台数が多くなるというケースはしばしば発生すると思われます。このようなサーバを構築・運用する場面で以下のような経験
![[概要編] GCPでVMインスタンスを自動・自律的に構築する仕組み](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6c83e0da9cd9453ec981b33d979f2fba9e9457b/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00053-overview-of-autonomous-instance-setup%2Feyecatch.png)
PackerでGCEのイメージを作成
構成ファイルの定義 image_familyを使うとグループ内の最新イメージを使うのが楽に指定できます。 このサンプルはansibleをインストールしただけのイメージを作ります。 詳しい定義はこちらを参照してください { "variables": { "project_id": "YOUR_PROJECT", "image_family": "IMAGE_FAMILY", "account_file_path": "{{ env `GOOGLE_APPLICATION_CREDENTIALS` }}" }, "builders": [ { "type": "googlecompute", "account_file": "{{user `account_file_path`}}", "project_id": "{{user `project_id`}}", "source_image_f
TerraformInfrastructure as code provisioning
Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning
Packer は、Linux だけでなく Windows もサポートしていますが、OSイメージの作成方法は両者で大きく異なります。このブログでは、Packer で Windows OS イメージを作成する方法を説明します。 前のブログに書いたように、Packerは、Hashicorp が提供するオープンソースのオペレーティングシステム・イメージ構築ツールです。 Packerの優れた特徴は、1つの設定から複数のプラットフォーム（AWS、Azure、VMwareなど）用に異なるアーティファクトを作成できる点です。Packer は Linux イメージと Windows イメージの両方の作成をサポートしており、単一の方法でイメージ構築が可能です。 参考リソース新しい技術を学ぶとき、他の人がどのように使っているかの例を見るのは非常に参考になります。Packer を Windows で使用するのに参
Announcing HCP Packer
Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning
GitHub - gruntwork-io/infrastructure-as-code-testing-talk: Sample code for the talk "How to test your infrastructure code: automated testing for Terraform, Docker, Packer, Kubernetes, and more" by Yevgeniy Brikman
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
It’s been a while that I haven’t release some stuff here and indeed, it’s mostly caused by how fucked up 2020 was. I would have been pleased if this global pandemic hasn’t wrecked me so much but i was served as well. Nowadays, with everything closed, corona haircut is new trend and finding a graphic cards or PS5 is like winning at the lottery. So why not fflush all that bullshit by spending some t
`packer hcl2_upgrade` を実行し生成された `.pkr.hcl` ファイルに `"template: hcl2_upgrade:3: unexpected \"\\\\\" in operand"` が出力された - Qiita
`packer hcl2_upgrade` を実行し生成された `.pkr.hcl` ファイルに `"template: hcl2_upgrade:3: unexpected \"\\\\\" in operand"` が出力されたAWSJSONpackerHashicorpHCL はじめに Packer の v1.7.0 から Packer template の記述方法として JSON ではなく HCL2 を利用することが推奨されています。 JSON で記述された Packer template を HCL2 形式に変換する hcl2_upgrade コマンドを実行し生成された .pkr.hcl ファイルに、 "template: hcl2_upgrade:3: unexpected \"\\\\\" in operand" が出力されたときの対処法を記載します。 対処方法 今回はエスケ
はじめに Packerのドキュメントって英語だし、英検3級レベルで英語力のない私にはつらい・・・ そして、一回(google翻訳を使って)訳しながら読んでまた忘れてまた(google翻訳を使って)訳すを繰り返すのをやめたい。 調べるときは全文を見ずに、必要な部分だけを見てたりするので、公式ドキュメントを訳しながら全体を理解していこうと思う。 英語読むのめんどくせーーーとなっている人の助けになればと思い公開した 今回は AMI Builder(EBS backed) 注意事項 基本的にGoogle翻訳のまんまです。 一応、意味が分かるようには訳してるつもりですが、ちょいちょい意味分からない部分もあります。 誤訳がある可能性があるので、最後はちゃんと公式ドキュメントを読みましょう 私の知りたい部分からやるので、訳す部分はバラバラになります。 公式ドキュメントに記載されていない部分(自分で調べた
はじめに このページは以下の記事シリーズのうち、自律的に構成したVMインスタンスのテストについて説明します。 概要編 VMイメージ継続ビルド編 サーバ自律構築編 テスト編(このページ) テストの位置付け テストと書くと内包される意味は多岐にわたりますが、ここでは構築後のテストを行うということで、特にAnsibleによるプロビジョニングの定義やmetadataを通じて外部から注入された設定値が正しく反映されているかの比較を行うことを目的と定めています。 設定値として注入する値そのものが間違っている…という可能性やtypoなどもテストの範囲に含めたり、正常動作確認をしたい…などテストに様々な要件を載せてしまいたくなるのですが、さまざまな要件を載せてしまうと複雑怪奇な、メンテナンスが困難なものになる可能性があるため、不足気味でも良いのでシンプルなテストを徐々に育てていく方針で実装しています。 仮
![[テスト編] GCPでVMインスタンスを自動・自律的に構築する仕組み](https://cdn-ak-scissors.b.st-hatena.com/image/square/c974632d1ca4a967e5488d9865179b901bc1a161/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00056-testing-after-setting-up%2Feyecatch.png)
コンバンハ、千葉（幸）です。 先日、NAT インスタンスを Amazon Linux2 AMI から手作りしてみました。 久しぶりに OS 上でコマンドを叩いてテンションが上がったので、これまた久しぶりに Packer を使ってみるか、ということでパカることにしました。 今回やること 大まかに書くと以下の通りです。 Packer により NAT インスタンス用 AMI をビルド NAT インスタンスのセットアップ クライアントインスタンスから疎通確認 NAT インスタンスを配置する VPC やクライアントインスタンスはあらかじめ作成済みの前提とします。 1. Packer によるビルド 今回使用する Packer は以下バージョンです。 % packer --version 1.8.4 あらかじめ、必要な権限を有する IAM ユーザーのクレデンシャルを AWS CLI プロファイルに設定し
はじめに このページは以下の記事シリーズのうち、VMイメージの継続ビルドについて説明しています。 概要編 VMイメージ継続ビルド編(このページ) サーバ自律構築編 テスト編 VMイメージ継続ビルド 運用しているシステム向けのVMイメージの継続ビルドにはPackerを用いています。ビルドの仕組みの概観は以下のようになります。 Github Enterprise Server(GHE)のActionsを起点として動作する CIサーバ(Actions self-hosted runner)がPackerのビルド・ジョブを実行 Packerにより起動されたサーバに対してAnsibleによるプロビジョニングが実行される プロビジョニング済のサーバを停止・削除しながらカスタムイメージとして保存する ファイル構成 この仕組みのファイル構成は以下のようなツリー構造になっています。AnsibleはPacke
![[VM継続ビルド編] GCPでVMインスタンスを自動・自律的に構築する仕組み](https://cdn-ak-scissors.b.st-hatena.com/image/square/605a84f45168f5933fe8f80956e6188273b64fdb/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00054-continuous-image-build%2Feyecatch.png)
はじめに このページは以下の記事シリーズのうち、VMインスタンスを自律的に構築する方法について説明しています。 概要編 VMイメージ継続ビルド編 サーバ自律構築編(このページ) テスト編 GCPでVMインスタンスを自動・自律的に構築する仕組み ここでは概要編でも貼った以下の画像の中で赤枠の部分にフォーカスを当ててご紹介します。ここではMySQLサーバの構築を例にとっています。 自律構築の流れ 自律構築は以下のような流れになっています。SREがTerraformを用いて適切なパラメータを付与してVMインスタンスを起動すると、それらのパラメータに従って運用可能な状態まで人手を介さずに自動的にセットアップが実行されます。 TerraformによりMySQLカスタムイメージを指定してVMインスタンスが起動。この際にVMインスタンスのmetadataに後の自動構成時に使用されるパラメータを併せて定義
![[サーバ構築編] GCPでVMインスタンスを自律的に構築する仕組み](https://cdn-ak-scissors.b.st-hatena.com/image/square/c942d0d75316cdb6f29f5e6fb4540aaf7db4cef6/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00055-vm-instance-autonomous-setup%2Feyecatch.png)
GitHub Actions と HCP Packer を利用して Golden Image を作る - Qiita
ゴール 仮想マシンを上手く運用するために、管理や統率や配布を安全で安心で安定した仮想マシンにしたい Azure で Golden Image の作成・管理プロセスを GitHub Actions や HPC Pakcer を用いた自動化 GitHub: https://github.com/koudaiii/jp-packer-101 課題設定 仮想マシンは、個人の開発環境からクラウドのマネージドサービス、自社サービスまでたくさんの場所で動いています。本記事は仮想マシンをメインにサービス運営する企業を想定します。仮想マシンを 10 台くらいを運用している中で、カスタマイズされた複数のバージョンのアプリが本番環境で運用され、仮想マシンで直接手作業もしばしば行われている状況です。現在抱えている問題として、 1.手作業による属人化や暗黙知があり、チームの共有含めて統制された運用が難しく、運用コス
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
猛烈に成長するSaaSのインフラを猛烈にカイゼンする技術 - ANDPAD Tech Blog
「ダブルチェックを頑張る」でごまかさない、スクウェア・エニックスのサーバ設定漏れ防止策
闇の深い AMI を Packer で Infra as Code する - Qiita
第611回 Packerでmultipass用の仮想マシンイメージを作る | gihyo.jp
[概要編] GCPでVMインスタンスを自動・自律的に構築する仕組み
HCP Packer Is Now Generally Available
Announcing the Public Beta of HCP Packer
Packer で Windows マシンビルドを作成する
Anatomy of a simple and popular packer
訳しながら理解していくPacker_AMI Builder(EBS backed)編 - Qiita
[テスト編] GCPでVMインスタンスを自動・自律的に構築する仕組み
NAT インスタンス用の AMI を Packer で作ってみた | DevelopersIO
[VM継続ビルド編] GCPでVMインスタンスを自動・自律的に構築する仕組み
[サーバ構築編] GCPでVMインスタンスを自律的に構築する仕組み