RDS for MySQL にできて Aurora にできない 2 つのこと | はったりエンジニアの備忘録
Amazon Aurora への移行検証の中で、RDS for MySQL にできて Aurora にできないことを見つけました。 MySQL との高い互換性は確認できたのですが、運用する上でハマりそうです。 レプリケーションを一時停止できない MySQL にはレプリケーションを一時停止するために STOP SLAVE が用意されています。 RDS の場合は権限がないため mysql.rds_stop_replication というストアドプロシージャを使います。 mysql.rds_stop_replication - Amazon Relational Database Service どういうときにレプリケーションを止めたいかというと、分析のためにある時点（たとえば深夜 0 時）の全データをエクスポートしたいときです。 RDS の Restore to Point in Time (
できるだけシンプルな仕組みで簡単にEC2の自動起動・停止を実現したい！ | DevelopersIO
こんにちは、このすばのアニメ新企画が決定してテンションが上がっている城内です。 はじめに AWS上でシステムを構築していると、インフラ構築中やアプリ開発中などは、コスト削減のために使わないリソースは極力止めておきたいと考えるかと思います。 私もEC2で大きめのインスタンスを立てているときなどは、結構気になります。 先日も環境構築をしていて、夜や週末にEC2を止めておきたくなり、でも手動でやるのはなーと思い、軽くググってみました。 aws ec2 自動 起動 停止 - Google 検索 まあ、よくある要望なのでやり方はたくさん出てきたのですが、別に運用で使うわけでもないため、ササッとやりたいですし、そのために余計なリソースも使いたくないと考えました。 で、まずは以下の記事を参考に作ってみました。 EC2インスタンスをスケジュールで自動起動・自動停止させる(定時出社・定時退社) ただ、上記の
RedshiftのWLM小話 - Qiita
この記事はAWS Advent Calendar 2014の最終日の記事です。メリークリスマス！！ WLMお使いですか？ WLM? まずは、RedshiftのWLM(Work Load Management)について簡単に説明すると、Redshiftに投げ込まれるクエリに対して割り当てるRedshiftのリソースを指定するものです。事前にWLMとしてキューを用意しておき、キューに対して割り当てるメモリの割合や並列度、タイムアウトの時間を指定することでクエリに対してリソースの配分や長時間実行されるクエリを止めてクラスタリソースを無駄遣いしないようにすることが目的です。 キューに指定出来るものとしては 並列度 メモリの割合 タイムアウト です。 キューに割り当てられたメモリは、キュー内で実行されているクエリで均等に分割して使用されます。 CPUやDisk IOまで指定出来ると嬉しいのですが現状
Amazon Redshiftでよく使うけど忘れがちなコマンド(クエリ）まとめ - Qiita
追記 2014-10-29 "実行中のクエリをキャンセル"するの項に追記しました コマンド（クエリ） ディスクのスペースを確認する SELECT owner, host, diskno, used, capacity, (used-tossed)/capacity::numeric * 100 AS pctused FROM stv_partitions ORDER BY owner; CREATE VIEW loadview AS (SELECT DISTINCT tbl, TRIM(name) as table_name, query, starttime, TRIM(filename) AS input, line_number, colname, err_code, TRIM(err_reason) AS reason FROM stl_load_errors sl, stv_tb
Redshiftのworkload management - まめ畑
Redshiftのパフォーマンス検証記事は見かけるのですが、WLMに関して言及されているものをみないのと、ちょっと複雑なのでまとめておきます。 管理面については Redshiftの管理面 - まめ畑を参照下さい。 WLMの重要性 DWHでは往々にして、実行時間のかかるクエリからサクッと終わるもの、バッチがガリガリと長時間かけて実行するクエリまで様々なタイプのクエリが投げ込まれます。 これらクエリはリソースをガッツリ割り当ててさっさと思ってほしいものから、重要でないから気長に実行をまてるものまで要件は様々です。これら、クラスタリソースを管理してクエリ毎に割り当てることで1つのクラスタ内で様々な種類・用途のクエリを扱いやすくすることが出来ます。 Redshiftでは標準で1キュー・5並列とParameter Groupで設定されています。この状態では実行時間が長くかかるクエリが5本実行されてい
Terraform で AWS をテラフォーミングしたときに困ったこと | mizoguche memo
AWS の設定するとき、いちいちコンソールからいじってた情弱だったが、Terraform を使い始めて文明開化の音がした。 けど、やっぱり初めて使うものですからわからんこと／困ったことがあった。 .gitignore にいれるべきではないもの terraform gitignore - Google 検索で上の方に出てくる .gitignore はアプリケーション開発用の .gitignore なのでこれは使ってはいけない。 これを使うと .tfstate ファイルが無視されてしまい、AWS の状態が保持できなくなる。 what’s a good git-ignore policy for a terraform repository? - Google グループ We recommend checking in both your plan files (*.tf) and your .
CloudFrontで署名付きURLによるストリーミング配信をしてみた（Ruby編） - カイワレの大冒険 Second
夏の角部屋はパンチ力があるなと痛感している@masudaKです。 AWSにはCloudFrontというCDNがありますが、CloudFrontではストリーミング配信をすることができたりします。さらに、特定の条件による配信をするために、署名付きURLというものを使うことができます。これによって、特定の期間のみに有効な配信URLを、特定の管理者が作成することができ、それで配信することができたりします。 その署名付きURLによる配信に関して、ちょいと触る機会があったので、備忘録も兼ねて残しておきます。URLの作成は気分的にRubyで。 ちなみに、Python版は以下でできるようです。 Python で Amazon CloudFront の Signed URL を発行する CloudFrontでは、配信方式にダウンロードとストリーミングのどちらかが選べるのですが、ストリーミングによる配信につい
AWSバッドノウハウカンファレンスの必要性を訴えて来ました
多く人がすでにAWSクラウドデザインパターン(CDP)を活用しています。CDPこそがAWSを使う目的とまでは言わないにしても、パターンとしてまとめられた体系の上であれば安心してシステムを作れると考えている人は多いのではないでしょうか。 それが証拠に、AWSのCDP関連書籍は、Webデザインのカテゴリで１位（平成25年8月6日現在）でした。 CDPがそのwikiで整備され、公開されてから１年半近くがたちました。日進月歩のこのクラウドの世界で、CDPが生き残っていることは、CDPがそれだけ良く練られた、万人受けするものである故であることは先ず間違いないでしょう。 一方で、CDPは多くの前提知識を必要とする形でまとめられています。CDPがAWSを使う目的だとしたら、AWSを使うために勉強せざるを得なかったことは、沢山あるのではないでしょうか。それらをまとめることはCDPほどの意義はないかもしれま
AWS Summit Tokyo 2013(2) FreakOut - 50ms or dieの世界 - Continuous Ops
AWS Summit Tokyo 2013のセッションでもう一つ、メモを取りながら聴講したのはFreakOut社のDSPシステム構築のセッションです。 私も仕事でほぼ同じようなシステムを作っているので、私にとってはFreakOut社は(ド競合ではないまでも)同業者にあたります。そういう意味で最も注目していたセッションでした。 クラウドで RTB ～50ms or die. を支えるFreakOut の AWS 活用～ 彼らがよく使っている「50ms or die」という言葉はとてもキャッチーだと思っていて、好きです。 これはRTBでbid requestに対して50ミリ秒以内にレスポンスを返し続けなければいけないというルールを端的に言い表したフレーズです。 実際にはこれにネットワークレイテンシの考慮を加えて合計で100ミリ秒が目安であったり、SSP毎にレギュレーションが違ったりと、50ミリ
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介Naoyuki Yamada
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
多段SSHでよりセキュア、かつ便利に | TecTec Cloud
セキュリティを即座に高める一番の方法は、セキュリティを高めつつ利便性も高まる、そんな方法を提示することだと思います。 その一つとして、多段SSHの利用が素晴らしかったので紹介します。 EC2ではSecurityGroupを用いて自由にファイアウォールを構築することができます。 それらを用いて、アプリ外からの通信及びアプリ間で疎通は必要最小限にするのが普通だと思います。例えば、各ソーシャルゲームプロバイダー向けにシステムを構築している場合、図示すると下記のようになると思います。 ※囲ってる赤いラインはSerurityGroupによるファイアウォールだと思ってください そして、管理ラインは踏み台サーバ（図で言うとec2manage）からのSSHに限定することでセキュリティリスクはぐっと小さくなります。 作業を行う際は、ec2manageに各々のアカウントでログインし、さらにそこから各々
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
Amazon Linux AMIにGit + Gitolite + Gitlabをインストールして、プライベートGitHubを構築する - プログラマでありたい
半年くらい下書きフォルダーにあったGitLabのインストール記事をサルベージしました。今回は、Amazon Linux AMIと最新のGitLab 4.1系でインストールしています。が、あまりに長く面倒くさいので、三行でまとめてみました。 GitLabはGitHubのクローンで、セキュリティー・ポリシー的にGitHubがNGな会社に最適 GitLabの中身は、Git + GitoliteをラッパーしたWebインターフェース インストールが死ぬほど面倒くさいので、後でAWSのPublic AMIとして公開するよしたよ →GitLabのPublic AMIを公開しました。 以下、手順です。気が長い人は読んでください。 ライブラリのインストール 素のAmazon Linux AMIを立ち上げたら、まずライブラリをインストールしましょう。一部sudoでやっていくと詰まるところがあったので、素直にr
VPCのメタパターンもしくは怠惰な私のVPC導入。
皆様、昨日の松井さんの男気あふれる記事に度肝を抜かれた荒木でございます。毎度のことながら彼の軌跡は奇跡として語り継がれるといって間違いないでしょう。 さて、VPC環境構築のメタパターンと予告しました。実際のところCloudformationの出番は無限です。その中でも最も強力なのは、ある状態を保存再現する機能です。VPCのように面倒な環境構築に有効です。 時間のない人のために結論を。 CloudFormationはある時点の状態再現に有効です。 VPCに関しては再現を自動化するのは諦めて、（時としてつまらない）設計を再現するためにCloudFormationを使いましょう。 実はVPCIDを使えばClassicな環境からの移行は簡単！ というわけで、CloudFormationこそがVPC導入のポイントかもしれません。 これから述べる内容は ELB アプリケーションサーバ データベース(R
AWS Marketplace: CentOS.org
About CentOS.org CentOS is an Enterprise-class Linux Distribution derived from sources freely provided to the public by a prominent North American Enterprise Linux vendor. CentOS conforms fully with the upstream vendor's redistribution policy and aims to be 100% binary compatible. (CentOS mainly changes packages to remove upstream vendor branding and artwork.) CentOS is free. CentOS is developed b
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
小規模SI案件で、 AWS + Chefを使ってみて
踏み台サーバの向こう側にcsshx※AWSとかで使えるお | Arapedia
http://blog.fkei.me/2012/06/awsebs-typeamiamiec2.html
agilecatcloud.com