Mackerel のインフラについて AWS への移行で何が変わったか、データセンタから基盤を移した技術、どのようにして安定した運用を支えているのかお話します。
こんにちは、菊池です。 昨日、8月31日にAWSをテーマにした勉強会、AKIBA.awsの第1回目を開始しました。 AKIBA.aws AKIBA.awsは、AWSを利用しているエンジニアを対象とした勉強会です。 日々進化を続けるAWSの技術動向を追い、参加者が相互に情報交換し、スキルを高めていくことができる場所にしたいと思っています。一方的に情報提供をするのではなく、発表を通じて質問やディスカッションを行い、発表者・参加者の双方で議論を深めていくことをイメージしています。 第一回は「基礎編」 初回ということで「基礎編」として、ELB、Route53、EC2といったAWSのベーシックなサービスを取り上げました。 「基礎」といっても「AWSとは」「EC2とは」のような、「入門」ではなく、すでにAWSを使っている前提で、改めて基本をしっかり押さえることでより上手にAWSを使えるようになるという
Webオペレーションエンジニアの id:y_uuki です。 2017年8月7日に、メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫びにてお知らせしたメンテナンス作業時間中のデータ消失について、本エントリにて技術的な観点から原因の詳細をお伝えいたします。 概要 2017年8月7日(日本時間)に、オンプレミスデータセンターからAWSへ、Mackerelをシステム移行するためのメンテナンスを実施しました。 メンテナンス開始時間である14:30以降のデータ同期に失敗していたPostgreSQLデータベースサーバへの意図しないフェイルオーバーが、メンテナンス作業途中の15:30に発生した結果、14:30から15:30の間に更新されたデータを消失しました。 移行作業後のアプリケーションの動作確認中に、特定時間帯のデータを消失していることを発見し、データの復旧を
EC2の価格表を生成する必要があったので、その際のコードを公開します。以下をPythonで実装した感じです。 AWS各サービスの価格情報をスクレイピングするワンライナー 実行環境 Python 2.7.10 Pythonスクリプト 東京リージョンのオンデマンド価格のみ必要であったため、それ以外の情報は破棄しています。 # coding: utf-8 import json import re import sys import datetime import urllib2 def __get_price_list(url): response = urllib2.urlopen(url) # 最終行のcallbackしているJavaScript行を取得する callback_line = response.readlines()[-1] # callback処理の文字列を除去する js_
大阪でサーバーレスの話をしてきました クラスメソッドの開発を知る!大阪勉強会 第7回 これから始めるサーバーレス!〜最新サービス使いこなし術〜で スピーカーとして登壇しました。参加率が非常に高く、多くの方にご参加いただきました。誠にありがとうございました! 本記事では、勉強会でお話しした「目的別、サーバーレスアーキテクチャの教科書!これのときはこう!」の発表資料を公開します。 発表資料 内容 本セッションでは、これからサーバーレスを始める人向けに、サーバーレスとは何か?という話から、具体的にどのようなアーキテクチャを構築するのか?というお話しをさせていただきました。 サーバーレスアーキテクチャパターン 本セッションでは、サーバーレスアーキテクチャのパターンを20種類ご紹介しました。サーバーレスと言えるアーキテクチャは20種類では語りきれないほど沢山ありますが、今回は独断と偏見で選んでみまし
AWS が最新の技術やサービスをいち早く提供することで、私どもが実現できることの幅や品質を上げることができます。 Amazon Kinesis や AWS Lambda によって従来は難しかったタイムリーでパーソナライズされたレコメンドが可能になりました。 「情報を世界中の人に最適に届ける」という理念を掲げ、ニュースメディアを始めとしたメディア事業や広告事業を展開する株式会社 Gunosy。同社は、数年前から Amazon Kinesis や AWS Lambda を活用し、リアルタイムのストリームデータを分析することによって、パーソナライズされたレコメンドを行い、閲覧記事数やセッション時間の向上を実現しています。また、サービス数やユーザー数が拡大する中、AWS のリソースを有効活用するために、Kubernetes によるコンテナ化も実現。柔軟なスケールの実現とスポットインスタンスの活用に
ヤマハは6月6日、ギガアクセスVPNルーター「RTX1210」用の最新版ファームウェアを配布開始した。AWSが提供する「Amazon VPC」へのVPN接続設定機能を追加し、GUI画面から簡単な設定をするだけでVPN接続できるようになった。 今回ヤマハが配布を開始したファームウェアのバージョンは「Rev.14.01.20」。「マルチポイントトンネル機能への対応」「L2MSにおける管理台数の拡張」「Amazon VPCとのVPN接続設定機能」など、前バージョン(Rev.14.01.16)から多数の機能追加/機能強化がなされている。 ヤマハでは、2010年からRTXシリーズにおいてAmazon VPCとのVPN接続検証を実施し、設定例の公開などを行ってきた。今回のRTX1210における機能追加では、AWSの管理画面で発行される「アクセスキーID」「シークレットアクセスキー」「VPN ID」など
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
紙面ビューアーを支える サーバーレスアーキテクチャ / serverless architecture supports Nikkei's paper viewer
渡辺です。 個人的に好きなAWSのサービスのひとつがCloudWatch Logsです。 各サーバに保存されるログを保存するだけでなく、簡易検索や保存期間の指定ができるため、ロギングに関する最低限の要件を満たすことができます。 利用方法もEC2インスタンスであればエージェントをインストールするだけという手軽さもポイントですね。 Lambdaを組み合わせれば簡単なログ監視もできます。 本日はCloudWatch Logsで保存されたログを他のソフトウェアなどで利用する時に便利なS3エクスポート機能を紹介します。 S3へのエクスポート機能 S3へのエクスポート機能は文字通り、ログをS3に転送して保存します。 この時、エクスポートするログの時刻(範囲)を指定します。 簡易検索でログを絞り込んでのエクスポートはサポートされていないのでご注意ください。 S3バケットの準備 はじめにエクスポートする対
最近 CloudFormation を触っていて、よくある初期構築のベストプラクティスについて意見がほしいので自分の考える CloudFormation の設計や使い方についての考えを書いた。 CloudFormation のメリット CloudFormation を利用するためメリットはリソースの参照を簡単に記述できることと、べき等性の保証だと思っている。 以前、 EC2 インスタンスのプロビジョニングを Ansible で書いたことがある。 べき等性を確保したく、 サブネットの作成、 EBS のマウント、アンマウント、 EIP の付け替えなどの変更操作を Ansible だけで操作したい + その後のプロビジョニングの操作も Ansible にお任せしたいということを考えたときに、 Ansible の YAML ではなく以下のような Python のコードを書いた。 # ansible
Hori Blogフリーランスでバックエンドエンジニアとして活動している Ryota Hori のブログです。 最近はテック系記事より雑記ブログ気味。 Amazon Aurora 事例祭り に行ってきたので、メモを公開します。 社内共有で Slack に貼ろうと思っていたメモなのですが、長くなったのでブログに公開します。 概要 Amazon Aurora 事例祭り (2017 年 3 月 7 日開催) | AWS セッション内容 Amazon Aurora を使いこなすためのベストプラクティスと最新アップデート @con_mame さん データベースソリューションアーキテクト 登壇資料: [Aurora 事例祭り]Amazon Aurora を使いこなすためのベストプラクティス 開発サイドからの知見と今後の展望 PostgreSQL For Aurora でるよ! 9.6.4 と互換 My
We’d like to give you some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on the morning of February 28th, 2017. The Amazon Simple Storage Service (S3) team was debugging an issue causing the S3 billing system to progress more slowly than expected. At 9:37AM PST, an authorized S3 team member using an established playbook executed a com
github.com これはなに? HTTPを使って、ファイルを Consul クラスタ内で分散配布する daemon です。Go で書かれています。読みかたは「たぐる」です。 開発動機とユースケース 拙作の Stretcher というデプロイツールがあります。嬉しいことに、自分が勤務しているカヤックだけではなく、他社さんでも使われているようです。 先日、某社の Stretcher をお使いのかたに話を伺う機会があり、デプロイアーカイブの取得時のネットワーク負荷が問題になっているということを聞きました。 カヤックではサーバは基本 AWS にあり、S3 からデプロイアーカイブ(200〜300MB程度)を取得しています。S3はちょっと意味が分からないぐらい堅牢で、stretcherの -random-delay 5 (開始を平均2.5秒、最大5秒ずらす) を設定した状態で100台程度から一斉に
小ネタです。 Amazon Redshiftはクラスタの"停止"が行えないため、一旦クラスタのスナップショットを取得しておき、取得後に削除、そして復旧の際には取得したスナップショットからのリストア作業を行って起動し直す、という手順が必要となります。ある程度環境が整って来た段階であればそこまで頻度多く削除(with スナップショット取得)・起動(リストア)の機会は無いかなとは思いますが(データ量が増えてクラスタ規模も大きくなるとそもそもリストアに時間が掛かるため運用的には立ち上げっぱなしというケースが大半です)、動作検証時や開発作業用に一時的にクラスタを立ち上げて終わったら落とす、というケースは割と良くあるケースかと思います。 当エントリではその際に使えそうな『スナップショットを取得の後、クラスタの削除』及び『直近最新の手動スナップショットからのリストア』をコマンド一発で行えるスクリプトを作
多くの企業が、今年中にWebサービスの暗号化を進めなくてはいけなくなったかと思います。 Webに接続するiOSアプリは2017年1月からHTTPSの使用が絶対条件になる、デベロッパーはご注意を | TechCrunch Japan ということで、基本的な内容ではありますが、AWSにおけるSSL証明書の扱いについて復習してみます。 AWSで扱う証明書の種類 ここでいう種類とは、EV SSL だの ワイルドカードだの、証明書の製品としての種類ではありません。 1つは AWS Certificate Manager(以下、ACM)の無償証明書、もう1つは従来のSSLサーバ証明書販売サイトで購入する有償証明書、の2種類となります。 それぞれの証明書を、AWSのリソースにどのように登録し、運用していくかについてまとめていきます。 ACMの証明書を利用する 2016年1月にリリースされ、5月にはTok
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く