NTTドコモが「BigQuery」を導入した訳と、その後も「Redshift」を使い続ける訳
関連キーワード Amazon Web Services | Google | データ分析 | IaaS NTTドコモはビッグデータ分析システム「IDAP」（Integrated Data Analytics Platform）を2014年から運用している。IDAPで扱うのは、同社が通信事業で収集した通信エラーログや通信速度などのネットワークデータと、スマートライフ事業の「dポイントクラブ」「dTV」といった各種サービスから収集した会員情報や決済履歴などのデータだ。運用開始から2021年現在までの累計で約2500人の従業員が利用し、1日当たり50TBのデータを処理する。保有データは年々増加しており、2021年時点でデータの保有量は5PBに達した。IDAPの稼働開始当初はオンプレミスインフラとAmazon Web Services（AWS）のクラウドサービス群を組み合わせて運用していたが、20
コンテナストレージに Amazon EFS を使用するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ コンテナストレージに Amazon EFS を使用するためのベストプラクティス 数万社におよぶ企業がペタバイト規模のデータを Amazon Elastic File System (Amazon EFS) に保存しており、その多くが EFS を使ってコンテナ化したアプリケーションのデータです。Amazon EFS ファイルシステムは、Amazon Elastic Container Service (ECS) と Elastic Kubernetes Service (EKS) の両方で起動したコンテナに接続できます。Amazon EFS はコンテナインフラストラクチャと同様に、データの追加や削除の際に設定が簡単でかつ柔軟なスケーリングが可能な完全マネージド型のサービスであるため、コンテナストレージにうってつけの選択肢です。さらに、ペタバイト
AWS、侵入テスト申請やめるってよ - とある診断員の備忘録
先日twitterを見ていたら、こんなつぶやきを拝見して、個人的に侵入テスト申請には色々思い入れのある身であるため、ビックリした「とある診断員」です。 あれ？AWSの侵入テスト申請いらなくなりました？ pic.twitter.com/Z6ULU10SMy— 三ツ矢 ◎=3 (@328__) March 1, 2019 このブログでもとりあげましたが、今までAWSはペネトレーションテストや脆弱性診断などを実施する際に、AWS側への事前の申請が必要だったのですが、今回ポリシーの変更があったらしくどうやら不要になったようです。 ということで、私も自分で確認をしてみました。 Penetration Testing - Amazon Web Services (AWS) 現在日本語版サイトは、翻訳が間に合ってないようでまだ更新されてないようですが（2019/3/5確認）、英語版の方は記載内容がガラリ
Serverless is dead.
Long live Serverless! Since the launch of AWS Lambda in 2014 the industry has battled around what the word “serverless” has meant. I say, in 2019 who cares? In this talk we’ll cut past the hype and talk about the realities of what this technology space means, how it’s changing how companies build and operate technology, and how you can properly understand the value it brings to the table.
Netflix、自社開発したコンテナマネジメントプラットフォーム「Titus」、オープンソースで公開
動画配信サービスを提供するNetflixは、Amazon Web Services上に巨大な動画配信用のシステムを構築していることはよく知られています。同社は先月、2018年4月の実績によると、そのシステム内で1週間あたり約300万ものコンテナを起動したそうです。 その膨大なコンテナのマネジメントプラットフォームとして同社が自社開発した「Titus」が、オープンソースとして公開されました。 Titus, the Netflix container management platform, is now open source 同社はこのTitusのうえで機械学習やビッグデータの分析、エンコーディング、社内エンジニア向けのツールなど、同社のビジネスを支える重要なシステムを稼働させています。 コンテナマネジメントプラットフォームには、すでにKubernetesやMesosphere DC/OS
AWS、何から勉強したらいい？に対する俺の答え - Qiita
このツイートがわりと好評だったので解説。 「AWS、何から勉強したらいい？」に対する俺が考えた回答がこれ。 pic.twitter.com/ouuP3P27Bu — 伊藤 祐策(パソコンの大先生) (@ito_yusaku) 2018年4月17日 これは誰向け？ メンテナー以上の領域を目指す人向け。 オペレータ ... システムの運用、監視、障害調査＆対応をする人 メンテナー ... システムの拡張、改善をする人 アーキテクト ... システムを１から設計、構築する人 解説 各科目の選定基準 必修科目 ... AWSを本番運用するにあたって絶対に避けては通れないサービス。 重要科目 ... 間違った設計をすると、あとから取り返しがつかないサービス。 選択科目 ... 学習量を削るために仕方なく必修から外したが、Webサービスを構築するにあたりほぼ必須となるサービス。 必修科目で押さえておく
lego で Let's Encrypt の証明書を Route53 DNS 認証で取得する - らくがきちょう
Let's Encrypt を利用すると無料で SSL/TLS サーバ証明書を取得することが出来ます。 certbot を使って証明書を取得する例をよく見かけますが、certbot は意外とフットプリントが大きく作られています。 その点、Go 言語で実装された lego はフットプリントが小さい割に必要十分な機能が実装されており、扱いやすいです。 今回は lego を使って Amazon Route53 を使った DNS 認証により SSL/TLS サーバ証明書を取得する手順をメモしておきます。 インストール Linux 系 OS であればインストールは簡単です。 具体的には以下のコマンドを実行するだけです。 現時点で lego はバージョン 0.4.1 までリリースされているのですが、0.4.1 で Route53 による DNS 認証を行うとエラーになってしまいます。 この問題を回避す
コインチェックからのNEM流出 発表された調査結果の疑問点（楠正憲） - エキスパート - Yahoo!ニュース
コインチェックは3月8日、仮想通貨流出問題について会見で今後の対応を発表した（写真：ロイター/アフロ） コインチェックは3月8日、同社からのNEMの流出について発生原因の調査結果を発表した。発表によると従業員の端末がマルウェアに感染し、遠隔操作ツールによってNEMのサーバー上で通信傍受を行い、NEMの秘密鍵を窃取した上で、窃取した秘密鍵を利用して外部の不審通信先にNEMを不正送金したという。調査結果の詳細をレビューしないことには分からないことも多いが、どうにも釈然としない疑問点が残る。 なぜ端末がマルウェアに感染しただけで本番システムに入れたのかまず従業員の端末がマルウェア感染したとして、なぜ本番システムに侵入できたのだろうか。コインチェックのシステムはAmazon Web Serviceを利用しているが、AWSではシステム管理者権限を持つユーザーについて、多要素認証を使うことが推奨されて
Git LFSをAmazon S3でいい感じにする話 - YDiary
はじめに 皆さんはソースコードリポジトリの保存先として，GitHubなどのホスティングサービスをお使いでしょうか． また，リソースファイルなどのバイナリファイルを管理するためのリポジトリのサイズが肥大化していたりしないでしょうか． 実は，GitHubなどのホスティングサービスでは推奨されるリポジトリのサイズが決められており，そのサイズを大幅に超過するようなリポジトリは運営による凍結・削除の対象となってしまうことがあるのです． この記事では，そうしたリポジトリの肥大化を，バイナリファイルをソースコードとは別で管理することによって防ぐことが可能なGit LFS (Large File Storage)と，Git LFSのサーバとしてAmazon S3を活用する方法などを紹介します． 推奨されるリポジトリのサイズ 各ホスティングサービスで推奨されるリポジトリのサイズは次の通りです． GitHub
サーバーレス化を支える認証認可の話
サーバレスアーキテクチャで構築する際の認証認可、アクセス制限のパターンを何となく説明しています
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
Easily restore an Amazon RDS MySQL database from your MySQL backup
Starting today you can easily restore a new Amazon RDS for MySQL database instance from a backup of your existing MySQL database, including MySQL databases running on Amazon EC2 or outside of AWS. This is done by creating a backup using the Percona XtraBackup tool and uploading the resulting files to an Amazon S3 bucket. You then create a new Amazon RDS DB Instance from the backup files in Amazon
会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと
エンジニアの@macs_6です。 このブログでは社内のAWS EC2上で運用しているアプリケーション群をECS移行したプロジェクトについて紹介します。 ローカルの開発環境をDockerした話は以前の記事(複数の rails プロジェクトが共存する開発環境を Docker 化した話を晒してみる)で西辻が紹介しているので、そちらを参照して下さい。 概要 プロジェクトを始める前に感じていた課題 目指す状態 ECSを選択する理由 設計 移行のために必要な作業 Digdagによるスケジューリングについて ECSを使って見て気づいたこと 今後やりたいこと プロジェクトを始める前に感じていた課題 ローカル・本番で再現性のある環境を簡単に作れるようにしたい 簡単にスケールできるようにしたい コストを抑えたい ECS移行プロジェクトを始める前にはこれらの3つの事に課題感を持っていました。 1.ローカル・本番
TechCrunch
The social commerce market size in Africa is expected to continue growing as businesses and micro-entrepreneurs embrace digital media, driven by the rising usage of apps like WhatsApp, TikTok and Inst Whether we like it or not, the leather industry significantly contributes to greenhouse gas (GHG) emissions and global waste generation. The current methods used to fulfil the increasing demand for l
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Monitoring AWS Fargate with Dynatrace: Testing it in the Field
The TIBCO Blog
365日24時間稼働必須サービスの 完全無停止DB移行
全部教えます！サーバレスアプリのアンチパターンとチューニング
[GitHubとクラスメソッドの勉強会]DevOpsとAWSについてお話しました。資料をアップします。 | DevelopersIO![[GitHubとクラスメソッドの勉強会]DevOpsとAWSについてお話しました。資料をアップします。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/faf3334bbe958772b09453f1a088d21cca899bfd/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fdevops.png)
クラウド界の絶対王者「AWS」独走の秘密
