40 を超えるアーキテクチャに実装されたリアルタイムオペレーティングシステムにより、市場への投入までの時間を加速します。
はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro
SA岩永です。クラウド時代になり、Blue/Greenデプロイと呼ばれる方式を取るシステムが増えてきました。ただ、日本語で書かれているBlue/Greenデプロイの情報は多少古いものが多いため、特にクラウドで真価を発揮するBlue/Greenデプロイについて2015年の最後に一度まとめてみたいと思います。 以下は私の個人的な考えに基づくものであり、他にも様々な考え方があります。AWSのデプロイに関する発表でも沢山の考え方が提案されていますし、デプロイをサポートするサービスを多種多様に提供しています。1つの考え方として参考にして頂ければ幸いです。 なおこの記事は、2015年のAWS re:Inventのセッション『(DVO401) Deep Dive into Blue/Green Deployments on AWS』を参考にしています。興味のある方はSlideshareやYoutubeを
前回はS3バケットのデフォルト暗号化のパフォーマンス比較を紹介しました。 本当はこちらを先に紹介すべきでしたが、今回はS3の暗号化についてまとめてみました。 暗号化の種類 サーバ側の暗号化(Server Side Encryption: SSE) クライアント側の暗号化(Client Side Encryption: CSE) デフォルト暗号化 デフォルト暗号化におけるAthenaのテーブル定義による注意点 既存S3オブジェクトの暗号化 最後に 参考 暗号化の種類 大きく分けてサーバ(Amazon S3)側とクライアント側に分かれます。 サーバ側の暗号化(Server Side Encryption: SSE) サーバ(S3)に保管する際、つまりAWSのデータセンターにあるサーバのディスクに書き込まれる際にデータを暗号化します。データ格納時の暗号化とデータ取得時の復号をAWS側が管理してく
AWS News Blog New – Parallel Query for Amazon Aurora Amazon Aurora is a relational database that was designed to take full advantage of the abundance of networking, processing, and storage resources available in the cloud. While maintaining compatibility with MySQL and PostgreSQL on the user-visible side, Aurora makes use of a modern, purpose-built distributed storage system under the covers. Your
みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG(Technology Innovation Group)所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL(Extract、Transform、Load)処理部分をちょっと変わった性格の先輩方と一緒に開発
つい先月、待ちに待った KinesisFirehoseがついに東京リージョン (ap-norhteast-1) に来ました。 Amazon Kinesis Firehose is now available in Asia Pacific (Tokyo), EU (Frankfurt), and US East (Ohio) regions なので、今までKinesisStreamのデータをS3に保存する処理をLambdaで直接取得して定期的に実行していたやつを、Firehose経由で実行するようにしてみました。 構成とか fluentd-kinesis-pluginでKPLを利用してKinesisStreamsに送信しています。 KinesisFirehoseのSourceにKinesisStreamを設定し、Lambdaで加工してからS3に保存します。 Athena でテーブルを作成し
2018/02/05 https://mackerelio.connpass.com/event/76678/
いつも Idobata をご利用いただきありがとうございます。このたび、Idobata にアップロードされたすべての添付ファイルを一覧・取得可能な状態になっていたことが判明いたしました。現在は対策を完了しております。ユーザの皆様に多大なるご迷惑をおかけしましたことを、深くお詫び申し上げます。 経緯 2018年7月10日(火) 15時、Idobata の Amazon S3 バケット (https://idobata.s3.amazonaws.com/) にアクセスすることで添付ファイルを一覧・取得できる状態になっているということが判明 (※)。 同日16時30分、対象バケットの設定を修正し、一覧が公開されないよう設定変更。 7月12日(木) 18時、それまでにアップロードされた添付ファイルの URL を変更する対応を完了。 ※ Idobata はメッセージに添付されたファイルを Amazo
Amazon Web Services ブログ Amazon ECSとKubernetesの統合サービスディスカバリー 本日(訳注:2018年5月31日)から、Amazon Elastic Container Service(Amazon ECS)およびKubernetesによって管理されるサービスの統合サービスディスカバリーを活用することができます。私たちは最近、Amazon Route 53 Auto Naming(オートネーミング)APIを使用してサービス名のレジストリを作成および管理することにより、コンテナ化されたサービスの発見と相互接続を容易にするECSサービスディスカバリーを導入しました。サービス名は、一連のDNSレコードセットに自動的にマップされます。これにより、コード内でサービスを名前(backend.example.comなど)で参照可能となり、実行時にサービスのエンドポ
インフラストラクチャー部セキュリティグループの水谷 (@m_mizutani) です。 現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前からやってきたのですが、ここしばらくはそれ以外のインフラやオフィスで発生するセキュリティ侵害を検知することを目的とした監視基盤の構築に力を入れています。 昔は一般的にオフィス、インフラのセキュリティ監視と言えば、イントラネット内に閉じた環境でのログ収集から分析まで完結していたケースも少なくなったと考えられます。しかし現在だとインフラとしてクラウドサービスを多用したり、業務で使うツールをSaaSによって提供するという場面も増えているかと思います。このような状況だとセキュリティ監視のために見るべき箇所がばらけてしまうといったことが起こります。クックパッドでも積極的にSaaSやAWS
こんにちは、菊池です。 ※ 2018年6月10日追記:i3.metalも同様の仕様であることを追記しました。最新の仕様は、公式ドキュメントの英語表記にてご確認ください。 先日、PrivateLinkを使ったVPCエンドポイント(インターフェースエンドポイント)について公式ドキュメントを見ていたところ、気になる記述を発見しました。 Interface Endpoint Properties and Limitations To use interface endpoints, you need to be aware of their properties and current limitations: An interface endpoint can be accessed through an AWS Direct Connect connection. It can also be
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
AWS SESは安価で簡単にメールの送信/受信トリガーが実現できるサービスです。AWSを使っているサービスの場合、けっこう使うことになると思います。が、ハマりどころや注意すべき所があるため、サービスの特性を理解して使ったほうが良いと思い、まとめてみました。 やること SESの制限解除申請をする DKIMに対応する/逆にSPFは対応しなくてOK バウンスと苦情の対応をSNS/SQSなどを使い自動化する 25番ポートは使用せず、465/587を使用する 配信メトリクスを監視する SESの制限解除申請 新規AWSアカウントの場合、SESはサンドボックスモードになる サンドボックスモードだと、検証済みEmail/ドメイン宛にしか送信できない 24時間あたり200通までの送信制限 / 1秒あたり1メッセージの受信制限 サンドボックスモードを解除するには申請する 制限はリージョン毎に行われる 詳しくは
Amazon SESとは SESは、メールを配送するサービスです。APIやSMTPを使ってSESにアクセスをしてメール送信を依頼します。名前だけ聞いたことがあるけど、実際には使ったことが無い方が多いのではないでしょうか。ちなみに、メールの受信サービスは提供していません。以下にSESの特徴を列挙したいと思います。 SDK/APIからメールを送れる EC2でアプリケーションを開発している場合、メールを送りたいことがありますよね。実際にEC2からSMTPメールを大量に送っているとエラーが返ってきたりします。これは、自動的にスパム認定を受けてしまうからです。これを防ぐには申請とEIPの逆引き登録が必要なのですが、ちょっと面倒ですよね。SESのSDKを使えば直接APIをコールしてメールを送ることができます。 認証付メールが送れる 昔から行われているEメール送信には様々な問題がありました。差出人の偽装
AWSTemplateFormatVersion: "2010-09-09" Transform: 'AWS::Serverless-2016-10-31' Resources: App: Type: 'AWS::Serverless::Function' Properties: Handler: lambda-go-sample # ファイル名 Runtime: go1.x CodeUri: build # ビルドファイル設置ディレクトリ Timeout: 1 GOARCH=amd64 GOOS=linux go build -o build/lambda-go-sample aws cloudformation package \ --template-file template.yml \ --s3-bucket [パッケージアップロード先s3バケット] \ --s3-prefix
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く