Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略 ｜ DevelopersIO
はじめに 先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング
SOCKSプロキシとHTTPプロキシの違いについて勉強してみた | DevelopersIO
はじめに サーバーレス開発部@大阪の岩田です。 先日接続元IPアドレスをクラスメソッドのGIPに制限した検証環境を利用してAPIのテストを行なっていたところ、リモートワーク中のメンバーが検証環境に接続できないという状況が発生しました。 下記の記事で紹介されているように、クラスメソッドではSOCKSサーバーが構築されているので、VPN経由で社内NWに接続し、SOCKSサーバーをプロキシとして利用すれば本来リモート環境からでも検証環境が利用できるはずです。 VPN利用者のためにdelegateでSOCKSサーバーを立ててみました 最初はcurlコマンドのオプションに--proxyを付けてプロキシサーバーを指定するようお願いしたのですが、--proxy http://proxy.example.com:xxxxのような指定を行なっていたようで、問題が解決しませんでした。 結局--proxy so
AWS を安全に使うために（IAM のベストプラクティス） | DevelopersIO
セキュリティインシデントを止めるには IAM から。IAM の正しい使い方を一度覚えればセキュリティリスクは低減できます。AWS のドキュメント「IAM のベストプラクティス」をできるだけ具体的に解説してみましたのでご一読ください。 はじめに AWS を利用するにあたり、セキュリティをいかに確保するかが最優先事項となります。 今回は AWS を利用する際に一番最初に設定するであろう IAM で必要な設定について、AWS が推奨しているベストプラクティスに添って可能な限り分かり易く説明していきます。 IAM とは AWS の操作をより安全に行うため、AWS リソースへのアクセスを制御するためのサービスです。 IAM により、複数のユーザーに AWS リソースへの安全なアクセスを簡単に提供できます。 とある会社の場合 例として以下のような会社を定義します。 社長 x 1人 部長 x 2人（営業
AWS運用専門の勉強会「Ops JAWS#13」で「IAMの運用 ベストプラクティス」というタイトルで登壇してきました #jawsug #opsjaws | DevelopersIO
森永です。 Ops JAWS#13で「IAMの運用 ベストプラクティス」というタイトルで登壇しました。 スライド まとめ IAMロールは最高 アクセスキーはつらい ログは必ずとる 上記を守るだけでだいぶ楽になります。権限の管理などは組織に合わせて適切なものを検討しましょう！
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
[AWS] 可用性の高い堅牢なデプロイプロセスについて考える | DevelopersIO
こんにちは。こむろ＠今は東京です。 アプリケーション開発において、実行環境へのデプロイプロセスはとても重要です。AWSでもCodeDeployやElasticbeanstalk、OpsWorksと言った各種デプロイプロセスをサポートするサービスがあります。しかし、どのデプロイプロセスが今自分たちのフェーズでのスタイルと一番相性が良いのでしょうか？最終的に全て結果は同じです。アプリケーションが環境へデプロイされ、アプリケーションが正常に実行、そしてサービスが正常に動作することを目指しています。このデプロイプロセスは新たにインスタンスを立ち上げる際にも関わりがあります。そのため、スケールアウトすることを前提に作られているシステムはデプロイプロセスとは切っても切り離せない関係です。今回は運用面から見たデプロイプロセスの再考と改善を考えます。 はじめに 自分が担当しているプロジェクトでは開発タイミ
Multipath TCP (MPTCP)をAmazon EC2で試してみた #WWDC17 | DevelopersIO
ども、大瀧です。 WWDC 2017では、iOS周辺のネットワーク機能を紹介するAdvances in Networkingというセッションがありました。セッションについてはこちらの記事が詳しいです。 iOSはこれまでIPv6や常時SSLなど、新しいWebネットワークテクノロジーの牽引役として様々な働きかけをしてきました。今回のセッションで取り上げられたMultipath TCP(MPTCP)は、iOS 11でiOSアプリ向けの実装予定で、これを皮切りに今後広く使われるのを期待しています。本記事では、サーバー側としてAmazon EC2でMPTCPを試してみた様子をご紹介します。 MPTCPとは Multipath TCP(MPTCP)は、トランスポートプロトコルであるTCPでマルチパス(複数経路)通信を実現する技術です。WWDCのセッションではLTE回線とWi-Fiの2経路を用途や回線状
Linuxでアウトバウンド帯域幅を制限する | DevelopersIO
はじめに オンプレとAWSにまたがるシステムの場合、オンプレ側の帯域を圧迫しないようサーバからの通信に帯域制限をかけたい場合があります。 今回はLinuxの機能を利用しアウトバウンド通信の帯域を制限してみました。 Windows Serverの帯域制限についてはこちらをご覧ください。 帯域制限が無い状態 制限が無い状態でのアウトバウンド速度を計測してみましょう。 5GBのファイルをS3にアップロードしてみます。 [ec2-user@ip-10-0-0-37 ~]$ mkdir files [ec2-user@ip-10-0-0-37 ~]$ dd if=/dev/zero of=files/5GB count=5120 bs=1M > /dev/null [ec2-user@ip-10-0-0-37 ~]$ aws s3 sync files s3://qos.test --region=
CodeDeploy で非 AutoScaling のインスタンスへの Blue/Green デプロイを試してみた | DevelopersIO
こんにちは、藤本です。 CodeDeploy の Blue/Green デプロイは AutoScaling 環境下に限らず、非 AutoScaling の EC2インスタンス群に対しても行うことができます。AutoScaling 環境下での挙動は Elastic Beanstalk でなんとなく予想できたんですけど、非 AutoScaling 環境での挙動がよくわからなかったので、動作確認してみました。 概要 先日、CodeDeploy に Blue/Green デプロイによるデプロイ方式が追加され、早速、AutoScaling 環境下でのデプロイを試してみて、ブログをエントリしました。 CodeDeploy のデプロイ方式に Blue/Green Deployment が追加されました 上記エントリでは AutoScaling 環境下での Blue/Green デプロイを試してみました。
はじめてのSpark SQL！Amazon EMRを使って10分で試してみる | DevelopersIO
はじめに Spark SQLに触ってみたので手順などをまとめました。Spark SQLというのは Apache Hiveのようにクエリ実行することで分散処理ができるものです。Hiveとの違いはインメモリであるために高速に処理できることとクエリ言語にSQLが使えることです。10分位で試せると思いますのでSparkやEMRに触ったことがない方はぜひやってみてください。 1.EC2のキーペアを用意する EC2インスタンスにSSHで接続するのでキーペアがない場合は作成する必要があります。以下のAWSのサイトを見て作ってください。 キーペアがすでにある方はスキップしてもらって結構です。 Amazon EC2 のキーペア - Amazon Elastic Compute Cloud 2.サンプルのファイルを用意する 今回は私が趣味でやっているポケモンGOで捕まえたポケモンの名前、CP、タイプ情報が入っ
【社内資料公開】運用手順書を作る時のポイントについて書いてみた | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。本日は私がここ10年くらい意識している運用手順書を書くときのポイントについてまとめてみました。 対象読者 開発・構築したシステムを別の人に引き継ぐ予定のある人 他の人が作ったシステムを引き継ぐ担当の人 半年後の自分でも分かる手順書の書き方に困っている人 （この記事を読むのにかかる時間の目安：5分） 1. ドキュメントの冒頭に書くこと まず個々の詳細手順の前に、ドキュメント自体について記載してもらいたいことです。 1.1. ドキュメントに書かれていることを3行で書く ドキュメントの最初には、このドキュメントに何が書かれているのかを100文字くらいで書いておくと良いでしょう。 システムが増えれば増えるほど手順書も増えていくものです。見つけたドキュメントに自分の期待するものが書かれているのか、冒頭数行でわかるようになっているとうれしいです。 1
Amazon LinuxへのsshをGoogle Authenticatorを用いて二段階認証にしてみた | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。今日はAmazon Linuxへのsshログイン時におけるセキュリティ強化のお話です。 AWS運用チェックリストではOSにログインする際のユーザーは共有せず、個人ごとにOSアカウントを作成することが推奨されています。 これからAWSを始める人は一読すべき「AWS運用チェックリスト」を読んでみた ｜ Developers.IO 個人ごとにOSアカウントを作成すれば、いつ誰がそのサーバーにログインしたのか分かるので不正な操作が行われた際のトレースに役立ちます。 しかし仮にパソコンが盗まれる等で秘密鍵が盗まれてしまった場合を想定し、さらにもう一段階、その人のみが持っているものを用いなければサーバーにログインできない仕掛けを作ってみます。これを2段階認証といいます。今回は 1.個人のssh鍵ファイル ＋ 2.スマホに表示されるワンタイムパスワード
iptables設定後の調整 | DevelopersIO
iptables設定の再調整を行う iptablesを設定して日本のIPだけを許可するでしばらく運用していましたが、日々監視を行っていて、都度気になるものは調整しており、そのやったことを纏めておこうと思います。 mod_evasiveをインストールしていたので、その条件にひっかかっていたIPアドレスが8個ありました。 # cd /var/log/mod_evasive # ls -lrt -rw-r--r-- 1 apache apache 5 Mar 29 05:51 dos-142.4.114.13 -rw-r--r-- 1 apache apache 5 Mar 29 07:37 dos-199.192.152.154 -rw-r--r-- 1 apache apache 5 Mar 29 07:58 dos-199.192.159.229 -rw-r--r-- 1 apache a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
