【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
Anomaly Detection Using AWS IoT and AWS Lambda | Amazon Web Services
The Internet of Things on AWS – Official Blog Anomaly Detection Using AWS IoT and AWS Lambda September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. One of the biggest benefits of the Internet of Things (IoT) is the ability to get contextual insight from sensor data. Before you analyze sensor data, you may want to remove anomalies. Sometimes, tho
Amazon Athena で CloudFront のログを分析してみる | はったりエンジニアの備忘録
続いてテーブルを作ります。 CloudFront のログはタブ区切りの TSV 形式で、フィールドは全部で 24 個あります。 アクセスログ - ログファイル形式 TSV のフィールド名を小文字のアンダースコア区切りにして、テーブルのカラム名にしました。 CREATE EXTERNAL TABLE IF NOT EXISTS blog_manabusakai_com ( date DATE, time STRING, x_edge_location STRING, sc_bytes INT, c_ip STRING, cs_method STRING, cs_host STRING, cs_uri_stem STRING, sc_status INT, cs_referer STRING, cs_user_agent STRING, cs_uri_query STRING, cs_cook
Amazon AthenaをBigQueryと比較してみた
こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go
最大の GPU を使用するクラウド上の仮想マシン、Amazon EC2 P2 インスタンスをリリース
P2 インスタンスのご利用が可能になりました。これは高パフォーマンスの GPU プロセッサと大規模な並列浮動小数点パフォーマンスを必要とする計算処理能力を集中的に使用するアプリケーション向けに設計した新しいインスタンスタイプです。P2 インスタンスは詳細な学習、計算流体力学、金融工学、耐震解析、分子モデリング、ゲノム、レンダリングなどのワークロードに最適です。DirectX と OpenGL を必要とするグラフィックスワークでは、引き続き G2 インスタンスを使用することができます。 P2 インスタンスはクラウド上でもっとも高機能な GPU 仮想マシンであり、16 NVIDIA Tesla® K80 GPU、合計 192GB のビデオメモリ、そして 4 万の並列処理コアが単精度浮動小数点パフォーマンスの 70 テラフロップスを提供、倍精度浮動小数点パフォーマンスでは 23 テラフロップスを
User Defined Functions for Amazon Redshift | Amazon Web Services
AWS News Blog User Defined Functions for Amazon Redshift The Amazon Redshift team is on a tear. They are listening to customer feedback and rolling out new features all the time! Below you will find an announcement of another powerful and highly anticipated new feature. — Jeff; Amazon Redshift makes it easy to launch a petabyte-scale data warehouse. For less than $1,000/Terabyte/year, you can focu
Packerを使ってAmazon EC2のAMIを作る（2） - okochangの馬鹿でありがとう
こんにちは＠oko_cangです。 前回のブログでPackerをとりあえず使ってみましたが、今回はもう少し作成するAMIに手を加える部分をまとめておきます。 前回の内容に付け加えるもの ルートデバイスのEBSを拡張してAMIを作る Amazon Linuxに簡単な初期設定を加える 公式で提供されているAmazon Linuxはルートボリュームのサイズが8GBのEBSを使用するので、これをもっと大きなEBSにします。 また、拡張したEBSをファイルシステムからも認識させたり、タイムゾーンを設定したりなど簡単な初期設定もした状態でAMIにします。 設定ファイル 実際に出来上がった、設定ファイルは以下の通りです。 作成するAMI名が前回と同じもにになっているので、適宜書き換えます。 ※access_keyとsecret_keyはそれぞれ自分のものに置き換えて下さい。 $ cat ~/.packe
Amazon Machine Learning – Make Data-Driven Decisions at Scale | Amazon Web Services
AWS News Blog Amazon Machine Learning – Make Data-Driven Decisions at Scale Today, it is relatively straightforward and inexpensive to observe and collect vast amounts of operational data about a system, product, or process. Not surprisingly, there can be tremendous amounts of information buried within gigabytes of customer purchase data, web site navigation trails, or responses to email campaigns
AWS で不正アクセスされて凄い額の請求が来ていた件 - yoya's diary
情けない話ですが、自分の大チョンボで AWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的に AWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘) AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かる AWS さんのサポート AWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり
これでもう怖くない!? AWSの請求額監視とアラーム | SIBYL System
どうも私です。久しぶりにやらかしてしまいました。 AWSの請求額、普段は子供のお小遣いレベルだったのですが。4万円という高額の請求がやってきました。 冗長な構成を試しに試したあと、インスタンスを消去せずに放置したらこのザマです。 しかしながら世の中には不正アクセスで何百万も請求されている方もいるようですので、4万円なんてカワイイ物なのでしょうけど。 というわけで今回はAWSの請求金額の監視とアラームをやってみたいと思います。 AWS Billing and Cost Management アラートをオンにするには AWS Management Console にサインインして、Billing and Cost Management コンソールを開きます（https://console.aws.amazon.com/billing/home#/）。 左ナビゲーションペインで [Prefere
AWSで無料枠を超えた時にアラートを飛ばす - Qiita
AWSでは新規にアカウントを取得してから1年間、サービスごとに無料枠が用意されています。 私のような貧乏エンジニアはその枠を大いに利用させてもらって勉強したいと思うのですが、 AWSは従量課金のサービスなので、気づかぬ間に無料枠を超えてしまわないか心配です。 そんな人のためにAWSでは請求金額が一定金額に達した際にメールで通知される仕組みが用意されています。 AWSのアカウントをとった人はまず最初にこの設定をしておくことをオススメします。 設定手順 まずAWSにログインし、メニューバーの右の方にある自分のアカウント名をクリックし、 『Billing & Cost Management』を選択します。 画像の赤丸で囲った『Enable Now』をクリックします。 左メニューの『Preferences』でも大丈夫です。 画像にあるように下記順に実行 1. 『Receive Billing Al
Vagrant 1.1 で EC2 を vagrant up - naoyaのはてなダイアリー
Vagrant 1.1 がリリースされました。 Vagrant は仮想サーバーのフロントエンドのツール、詳しくは Vagrant - naoyaのはてなダイアリー あたりを。 で、この 1.1 が 1.0 → 1.1 という割に結構大きなアップデートで新しく VM に VirtualBox 以外のものが選択できるようになった。すなわち「VirtualBox のフロントエンド = Vagrant」から「各種仮想マシンのフロントエンド = Vagrant」という風にアップデートされた。 今回の 1.1 からVMを操作するproviderがプラグイン構造となり、VirtualBoxだけならず、公式で操作できる対象が増えました。 VirtualBox VMware Fusion Amazon EC2 + VPC Rackspace Cloud VMware Fusion以外はオープンソースで公開さ
vagrant-awsを日本で一番詳しく解説 - technica
こんにちは。ランチコンダクターです。 先日、第8回若手Webエンジニア交流会 #wakatewebにて 「vagrant-awsにプルリしたらマージされた話」をさせていただきました。 今回は、vagrant-awsの具体的な使い方をまとめてみます。 vagrant-awsとは 通常、VagrantはVirtualBoxのコントローラーとして使われていると思いますが、バージョン1.1からプラグインを使用することにより、様々な仮想化技術に対応した仮想マシンのコントローラーとなりました。 vagrant-awsは、VagrantでAWSを操作することができるようになるプラグインです。図で表すと以下のような感じになります。 AWSにて準備事項 事前準備としてAWS側での準備が必要なのですが、ここでは省略します。 とりあえず、以下を行っておけば最低限は大丈夫だと思います。 access_ke
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
ElastiCache for Redisの新機能をためしてみた - クックパッド開発者ブログ
インフラストラクチャー部 星野(@con_mame)です。 クックパッドでは、AWSを活用してサービスを行っています。 現在クックパッドでは、各種キャッシュにMemcachedやRedisを使用しています。 しかし、用途の多様化やアクセス数の増加などでこれらのサーバのインスタンス数が増加し管理コストが増加してきています。 特にRedisサーバのインスタンス数が増加しており、AWSのサービスの中でもキャッシュのサービスを提供しているElastiCache for Redisへの置換えを検討しています。 ElastiCache for Redisは、一部管理系のコマンドがrenameされており使用出来ませんが、通常のRedisと同じ物で、現在Version 2.6.13と2.8.6が使用出来ます。 SlaveにあたるものはReplication Groupという形で指定でき、Replicati
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドの機械学習を支える基盤のつくりかた / Machine Learning ops at Cookpad
TF not compatible with AWS GPU instances? · Issue #142 · tensorflow/tensorflow
Minimum IAM policy required by AWS for Packer to do its thing. https://github.com/mitchellh/packer Permissions are broken out by API functionality and a resource array has been defined with a wild card for each group. For tighter security resource level p
https://dl.acm.org/doi/10.1145/2723372.2742795
Genki Sugawara | Meet the AWS Community Heroes