はじめに こんにちは。クラウド事業部の野本です。 業務でモックサーバを作る際に、静的なファイルをふつうに URL でアクセスしてダウンロードできるようにする必要がありました。この用途に AWS の S3 を使いたいものの、バケットの設定を間違えると全世界に公開されてしまいそうで、公式ドキュメントを調べながら恐る恐る設定しました。 調べた結果、バケットポリシーで適切なアクセス制限を掛けるならパブリックアクセスブロック機能は有効のままでもいいことがわかりました。その設定方法や考え方について纏めます。 設定方法 S3 のオブジェクトを URL 直アクセスでダウンロードできるようにするには、 REST API GetObject を全員に許可するようにバケットポリシーを設定します。 リクエスト元を制限する際にポリシーが「非パブリック」と判定されるよう設定すれば、パブリックアクセスブロック機能はオン

はじめに プライベートでの共同開発において、「開発環境と本番環境の差異をできるだけ少なくしたい」という思いからローカルで動かせるS3互換ストレージを調べていました。業務でfake-s3というサービスを使用したことがありますが、MinIOというサービスも現場で使われている例を発見したのでそちらを導入してみました。 MinIOについて MinIOとはAWS S3互換のオブジェクトストレージのことです。 特徴 ローカルに仮想的な S3 環境を構築できる ローカルの仮想環境なので不用意にAPIを叩いてもお金も掛からない シナリオ 簡単なアプリを作成した後、MinIOを導入し、投稿した画像がMinIOに格納されるかを確認してみます。 1. アプリの土台を作成する 以下の機能をもつ簡易的なブログアプリを作成する。 記事一覧機能 記事詳細機能 記事投稿機能 動作確認 MinIOを用いない状態で画像を投稿

3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について)AWSAzureGoogleCloud はじめに 今年のはじめに書いた3大クラウドの比較シリーズに関して長いこと続編を書いてませんでした...。 最近、知人/友人のみならず取引先からも「AWSやGCPに関して続編書かないんですか？」と言われることが増えてきたので、今回はAWSを本番運用していて感じたAWS固有の優位性について感想を述べていきます。 AWS 固有の優位性 周知の事実ではありますが、AWSは長年クラウドベンダーとして世界トップシェアを維持し続けています。 AWSをクラウド基盤として利用しているサービスを一切利用せずに1日を過ごすことは不可能なんじゃないかというレベルで日本国内では利用されています。 もはや電気/ガス/水道等の社会インフラに近い状態です。 そして

インターリンク株式会社では、日々スタッフ同士が身に付けた技をぶつけ合い、切磋琢磨を続けている…かもしれない。これは、そんな修羅の国・インターリンクに舞い降りた『わだちゃん』が、技を磨き、たくましく成長してゆく物語…でありたい。 わだちゃん インターリンクの広報担当。どうぶつとかお絵描きが好き。夢はゆるキャラを作ること。なんとなく、社内に『わだ軍団』をつくる野望をもつ。 [今回の先生]いがさん先輩 インターリンクのインフラエンジニア。座右の銘は「こだわりは不都合を生む」。岩山に片腕ではさすがに登れない、クライミングジャンキー。分裂気味なふたご座係長。

概要 AWS Fargate の起動が遅くてつらいことが多く、イメージサイズを減らせば速くなるんだろうか、ということを調べてみた。 結果 「起動時間」には以下の構成要素が含まれていると推測する。 ENI の Allocate (10秒程度) コンテナイメージの Pull (かかる時間のほとんど) コンテナの起動(Firecrackerの起動？) IAM 関連の処理 AWS のネットワークはだいたいリソースサイズによってパフォーマンスが設定されているものがほとんどなので、Fargate も同様であると考えられる。 そのため、リソースが大きければそのぶんイメージの Pull にかかる時間は短縮されると考えられる。 Fargate のネットワークの性能については、計測された記事があった。 今回、各10回ほど繰替えし計測を行なったが、起動時間の変化はほとんどなかったため、イメージはキャッシュされて

概要 今回は、AWSの起動タイプがEC2であるAmazon Elastic Container Service - ECSをより高速化させるためのtipsについて記事にしました。 例えば、タスクの起動を高速化したい・・・だったり、クラスタの自動スケーリングを高速化したい・・・だったり、デプロイを高速化したい・・・といった場合に一読していただけると参考になるかもしれません。 また、下記に記載されている設定方法や値については全てAWSの公式ドキュメントにあるものを載せています。それぞれのtipsごとにサマライズした公式ドキュメントのリンクを記載しておりますので、詳細を知りたい場合はリンクよりご参照いただけますと幸いです。 ECSを高速化させるtips Amazon Elastic Container Service (ECS)とは何か Amazon Elastic Container Serv

イメージを更新しECRにプッシュ ローカルのプロジェクトを更新したら、イメージを作成してECRにプッシュする。 docker-compose build ↓ AWS ECRにログイン aws ecr get-login-password --region ap-northeast-1 | docker login --username AWS --password-stdin 111111111111.dkr.ecr.ap-northeast-1.amazonaws.com ↓ doker tag <対象のイメージ名:タグ名> <変更後のイメージ名:タグ名> ※イメージ名はECRのレジストリIDとエンドポイント ↓ docker push <対象のイメージ名:タグ名> ECRレポジトリを確認 イメージが正しくプッシュされているか確認する。 ECSのタスク定義の更新 既存のタスク定義を選択し

前提 ECSでRailsアプリが起動されていること migrateはfargateでやってなかった テスト環境でやること 作業内容 https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/ecs_run_task_fargate.html これ見ながら作業する。実際は、コマンドでやると何をしているのかよくわからないので、まずはGUIでやる。把握した後にコード化するというのが良い。そうすることで、全てのオプションやらパラメータの世界が見えてくる。 念の為、新規DBを作成 t2.microなどで良い 何らかのエラーが出たときの切り分けにしたい。 インスタンスが作れたら、アプリケーションデプロイ用のタスクにDBの環境変数を設定する（Systems Managerが使えるなら ECS containerから valueFrom で呼

はじめに 前回、前々回とAmazon ECSについて紹介してきました。今回はその応用として、以下の内容について書きたいと思います。 ALBからECSタスクにリクエストを流す ALBに独自ドメインを紐付ける ECSタスクで機密データを扱う オートスケーリング GitHub Actionsでデプロイする ECSの概要については、Amazon ECSでGoのEchoサーバを立ち上げるをご覧ください。こちらで構築した環境を元に作業を進めていきます。 また、タスク定義については、Amazon ECSのタスク定義についてをご覧ください。 独自ドメインを取得する 後々、ALBの作成にあたり証明書が必要になってくるので、予めドメインを取得し、証明書を取得しておきます。 ドメインを取得する ドメインはRoute53で取得します。 サイドメニューの「ドメイン」の「登録済みドメイン」をクリックします。 「ドメイ

AWS Fargate+ECSでNginxコンテナを起動し、独自ドメインを使ってHTTPS接続するところまでを実践してみる 大まかな流れNginxコンテナを起動 ドメイン関係の準備 ECSサービスを起動 ホストゾーンの編集 セキュリティグループの編集 ロードバランサーの編集 Nginxコンテナを起動まずはECS上でNginxコンテナを起動するところまで進める 以下の記事に沿ってNginxを起動した前提で以後の内容は書かれている http://パブリックIPで動作確認ができたらタスクは止める ECSダッシュボード>クラスター>nginxx-test-cluster>タスクタブ タスクを選択して [選択されたものを停止] ドメインの準備ドメインーホストゾーンーSSL証明書は3つで1セット 一度作ってしまえばずっと使える ドメインの取得 ECSサービスを起動ロードバランサーを介してHTTPS接続

該当のインフラ定義 Laravel・MariaDB両者のコンテナはビルドしたDockerfileをECRで管理 *現状、ツッコミどころが色々ありますが、まずは動かすことを目的にしているので、余計な部分もあります。 Laravel-Dockerfile FROM php:7.4.24-apache #install all the system dependencies and enable PHP modules RUN apt-get update \ && apt-get install -y zlib1g-dev \ && apt-get install -y zip unzip \ && apt-get -y install libzip-dev libonig-dev \ && docker-php-ext-install pdo_mysql mysqli zip \ && do

はじめに こんにちは、Gunosy Tech Lab - Media MLの suchida です。 気温の低下とともに起床時間が遅くなってる今日この頃です。 早く春にならないかなぁ（笑）。 さて本記事では、知識辞書構築の自動化について紹介します。 特に記事配信システムの一部で利用している人名辞書について取り上げます。 人名辞書とは 人名辞書は、社内で独自に作成している知識辞書です。 具体的には、以下のように人名やグループに対してカテゴリの紐付けを定義している辞書です。 ちなみに、直近では約19万単語が収録されています。 さだまさし: エンタメ, ヨハン・クライフ: スポーツ, ジョセフ・スミス・ジュニア: エンタメ, ボリス・スパスキー: スポーツ, ルーホッラー・ホメイニー: 国際, この辞書は、Wikipediaのデータをベースに構築しています。 具体的には、Wikipediaにおけ

docker run project_name rails db:create を実行すると以下のエラーが出ています． Host 'ip-172-17-0-2.ap-northeast-1.compute.internal' is not allowed to connect to this MySQL server Couldn't create 'development' database. Please check your configuration. rails aborted! 状況 同じEC2内に以下の2つが入っています． Dockerで起動したRailsアプリ MySQL 1はdocker runで起動することはできているんですが．MySQLとの接続ができてないためエラーを吐いています． エラー Can't connect to local MySQL server thr

はじめに 初年度運用費500円/月のブログシステムをAWS ECS上に構築しました。環境構築～デプロイまでに実施したことや、トラブルシューティングをまとめました。 ####こんな人向け ・AWS上でコンテナを動かす方法をざっくり理解したい人 ・1つのEC2インスタンス(t2.micro)内に、webサーバー、APサーバー、DBサーバーを構築する方法を知りたい方 ・Dockerでローカル開発環境は作ったけど、AWS上でどうやって動かすかわからない人 ※ブログシステムをゼロから作るっていう記事ではないです 主な使用技術 Docker Nginx php8.0 Laravel8 Voyager MySQL8.0 AWS ECS AWS ECR AWS Route 53 AWS Cloud Map AWS Certificate Manager 目次 1. 完成形（システム構成） 2. 開発環境構

もう、コンテナ調査のためにEC2に乗り込む必要は無い！ もう、Fargateだからコンテナの状況が見れないと悩むこともない！ ECS開発者待望の機能がリリースされました！ みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 Amazon Elastic Container Service (ECS) において、実行中のコンテナに乗り込んでコマンドを実行できる機能「ECS Exec」が公開されました。 Amazon ECS now allows you to execute commands in a container running on Amazon EC2 or AWS Fargate どんなものなのか、早速使ってみたいと思います。 これまでの方法 デバッグやトラブルシューティングを行うために、実行中のコンテナに乗り込んでコマンドを実行したいという時があると思います。

この記事は AWS Fargate Advent Calendar 2017 の19日目の記事です。 cloudpack大阪の佐々木です。 Fargateでコンテナ間通信させるときの話です。 概要 Docker環境で、コンテナ間で通信させるためにLinkという機能があります。1 ECS上でLink機能を使用しているタスク定義を、Fargateで実行しようとしてもエラーになって動きません。 実行結果 まず簡単な例として、Wordpress + MySQLという構成があるとします。2 WordpressコンテナとMySQLコンテナがあって、Wordpressの方にLinkを指定することで、mysqlという名前で通信できるようになります。 version: '2' services: wordpress: image: wordpress ports: - "80:80" links: - my

本サイトは公式のものではありません。 公式の料金計算ツールには、2018年にリリースされたAWS Pricing Calculatorと、歴史のあるSIMPLE MONTHLY CALCULATORがあります。本サイトは、公式のツールから入力項目に絞ってシンプルにしたものです。そのため、AWSの料金をざっくり知りたいときには便利ですが、正確な料金を知りたい場合は、公式の料金計算ツールを使用してください。

バックエンドエンジニアの星野です。 東京オリンピック2020が開幕されましたね。LCLは移転前のオフィスがオリンピック選手村に近い勝どきにあったので選手に親近感を覚えます。 さて、LCLではバックエンド開発のWebアプリケーションフレームワークとしてRuby on Railsを採用しています。 先日、Railsのアップデートや構成の更新をした際にCredential機能について見直す機会があったのでその知見を共有したいと思います。 tl;dr master.keyはGitリポジトリに含めない マルチステージビルドか--mount=type=secretを活用してDockerイメージにもmaster.keyを含めない Amazon ECSではSSMパラメータのSecureStringを利用して環境変数RAILS_MASTER_KEYを設定する Credential機能の概要 Railsはバー

ECSのタスク定義をCloudFormationで書いていて、ハマったところがあったのでメモしておきます。 事象 タスク定義内のコンテナ定義にて、LogConfigurationの値をawslogsにしたところ、作成されたタスク定義を起動しても、コンテナ起動に失敗してしまう。 詳細 ECSのログ出力設定には幾つかの方法が用意されていますが、基本的には awslogs の設定を利用すると便利です。これは、コンテナ上の標準出力/エラー出力の内容を、CloudwatchLogsに連携してくれる、という設定となります。 なお、awslogsの設定を利用するには、ECSコンテナエージェントのバージョンが1.9.0以降である必要があります。 で、CloudFormationのテンプレートですと、コンテナ定義部分に以下みたく記載します。 LogConfiguration: LogDriver: "aws