Stepping up for a truly open source Elasticsearch | Amazon Web Services
AWS Open Source Blog Stepping up for a truly open source Elasticsearch Last week, Elastic announced they will change their software licensing strategy, and will not release new versions of Elasticsearch and Kibana under the Apache License, Version 2.0 (ALv2). Instead, new versions of the software will be offered under the Elastic License (which limits how it can be used) or the Server Side Public
［速報］Google、大手クラウドに不満を表明していたMongoDB、RedisらOSSベンダと戦略的提携。Google CloudにOSSベンダのマネージドサービスを統合。Google Cloud Next '19
［速報］Google、大手クラウドに不満を表明していたMongoDB、RedisらOSSベンダと戦略的提携。Google CloudにOSSベンダのマネージドサービスを統合。Google Cloud Next '19 Googleはサンフランシスコでイベント「Google Cloud Next '19」を開催。4月9日（日本時間4月10日未明）に行ったオープニングキーノートで、MongoDB、Redis、Confluent、Elasticをはじめとするオープンソースソフトウェアベンダとの戦略的提携を発表しました。 提携相手はConfluent、DataStax、Elastic、InfluxData、MongoDB、Neo4j、Redis Labsの7社。 この提携の下で、Googleはオープンソースソフトウェアベンダが提供するマネージドサービスをGoogle Cloudに統合。ユーザーはG
AWSのほとんどのサービス（100個以上！）でSLAが設定されてます | DevelopersIO
大栗です。 1月にAWSのSLA対象サービスが大量増加したエントリを書いたのですが、3月にもっと大量になって、全体的に内容も変わっていたので一覧表にまとめたいと思います。 AWS Service Level Agreements 著者の拙い英語力を基に調査しているため内容に不備があるかもしれません。詳細はSLAの本文（英語版）をご確認ください。 AWSにおけるSLA AWSのサービスレベルアグリーメントは基本的に、定義された可用性以上で使用できるようにするため商業的に合理的な努力をAWSがするものです。サービスレベルを"Assurance"（保証）ではなく"Agreement"（合意）するものです。またSLAの対象となるためには基本的にAWSのベストプラクティスに従っている必要がありますので、対象システムの構成を確認しましょう。 SLAで定義されている可用性を下回る場合には、利用費に対する
ntc - On Internal Engineering practices at Amazon
A company that's innovating how rest of the companies work, doesn't innovate internally. Update (August, 2020): This article is largely out of date. Take it with a grain of salt. I should start with a side note about the title of this post. I initially called this "Why do internal tools at Amazon suck?" as that sounded better for eye grab while posting on HN. But then I realized that'd be a bit ov
AWSとGCPをいくつかの観点で比較してみたメモ - えいのうにっき
Google Cloud の認定資格、Professional Cloud Architect が最近気になっている。 cloud.google.com なぜ気になっているかというと、業務上プラスになることがありそう、ということはさることながら、以下の記事を読み「合格すると認定グッズがもらえる」「リュック（デイバッグ）良さそう！」と思ったこと、というのが実は大きい。物欲。 medium.com この気分がどこまで続くかはさておき、ゆるゆると勉強しはじめたのは事実。勉強も、手元でいろいろと整理しながらやっており、その整理したものについてこのブログにもメモしておきたい。もしかしたら資格取得以外の目的でも誰かの役に立つかもしれない。。ということで書いてる。 今回は、AWSとGCPをいくつかの観点で比較・整理してみたもののメモ。 AWSとGCPの比較 リージョン・ゾーン AWSでは、あるリージョン
GKEのPodからVPNを経由してAWSと通信してみた - Qiita
はじめに 前回の投稿でGCPとAWSをVPNで繋ぐところまでやってみました。 その続きで今回は GKE の Pod から VPN を経由して AWS のサービスを利用したかったので、その方法をまとめます。 普通にサブネットと GKE クラスタを作成して、AWS と通信できるか確認 サブネットの準備 AWS と VPN 接続されている VPC aws-internal-connect に、サブネット aws-internal-connect-subnet-1 を CIDR 10.1.0.0/24 で作成します。 GKEクラスタの作成 クラスタ test-cluster を、普通に作成してみます。その際、サブネットには上記 aws-internal-connect-subnet-1 を設定します。 $ gcloud beta container clusters create test-clu
AWSとGCP間をVPN接続してみた
はじめに AWSとGCP間をシームレスに接続する必要が出てきたので、VPNセッションを冗長化する方法で実装しました。 この投稿内容は、テスト環境上に実装＆動作検証した際の備忘録となります。 VPN要件 ２つのVPN接続を用意して冗長性を確保する。 クラウド間はBGP(Border Gateway Protocol)を用いてルーティング情報を交換する。（ダイナミックルーティング） 両クラウド基盤は、東京リージョン間を接続する。（距離遅延を最小に抑える為） 実装後のネットワーク構成イメージ VPN周りの構成を検討するにあたり、公式ドキュメントにある『冗長 Cloud VPN トンネル』を参考にした。 また本投稿ではテスト環境下で検証した為、IPアドレス等の情報をマスクせずに記載する。 （現在は全てのテスト環境を削除した為、アドレス等は存在していません。） VPN接続手順 (GCP) 外部IPア
Amazon Personalizeつかってみた – サーバーワークスエンジニアブログ
こんにちは、PS課のミネです。 今年のre:inventで発表されたAmazon Personalizeとは、パーソナライゼーションやレコメンデーションに関する機械学習の知識がほとんど無くとも、ユーザーがモデルをデプロイできるサービスです。 そんなAmazon Personalizeですがpreviewに当選しましたので、以下のAWS公式ブログ/サンプルを参考にデータセットはRで準備し、AWS CLIでリソースの作成をしてAmazon Personalizeを利用してみたいと思います。 Amazon Personalize – すべてのユーザにリアルタイムパーソナライゼーションとレコメンデーションを aws-samples/amazon-personalize-samples データセット準備 AWS公式ブログでも利用されているMoviLensのratings.csvからデータセットを準備
どちらが全体的に優秀なのか、AmazonとGoogleのクラウドのパフォーマンスを比較した結果 - GIGAZINE
by Jason Blackeye マルチクラウドで利用できる「Cockroach DB」などを提供しているCockroach Labsが、クラウドベースのプラットフォームやインフラなどを提供してくれる「クラウドプロバイダー」のうち、Amazon Web Services(AWS)とGoogle Cloud Platform(GCP)の性能比較を行い、レポートを公開しています。 AWS Outperforms GCP in the 2018 Cloud Report | Cockroach Labs https://www.cockroachlabs.com/blog/2018_cloud_report/ テスト環境として、GCPはこれまでもパフォーマンスのベンチマークとして利用してきたという「16基のvCPUと60GBのメモリを備えた標準マシンタイプ」である「n1-standard-16
AWSにおける形式手法 - masateruk’s blog
AWSにおける形式手法の記事（https://lamport.azurewebsites.net/tla/formal-methods-amazon.pdf）を読んだ。特に重要だと思われる示唆を3つあげると以下の通り。 産業界では長年形式手法は多大な工数をかけて比較的容易なコードの断片を検証するというイメージがあったが、これはまったくの誤り。現実の問題に適用可能である アマゾンでは10の現実のシステムに適用して、すべてで効果が得られた。難解なバグの発見したり、正当性を犠牲にすることなく確信を持って最適化を施せた 7つのチームでTLA+を使用。エンジニアは2−3週間で学習することができる 以下は、読んでいる途中で書きだした要点。 AWSでは2011年以降形式仕様とモデル検査を使用している 複雑な分散システムを検証するにあたって、従来の手法 ― 設計レビュー、コードレビュー、静的解析、ストレス
AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog
こんにちは。業務委託の@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S3にあるログをAWS Athenaから閲覧できるようにしてほしい S3にあるJSON形式のログを列指向型のフォーマット(Parquet)に変換してほしい ログは順次取り込み（毎朝、昨日分のログが見れるようにする） すでにログはS3にあったのでログ収集は終わっています。 データ分析基盤の構成 今回作成したデータ分析基盤はAWSのマネージドサービスで完結してます。 今回構築したのはGlueの部分です。 Glueの構成や初期構築の手順は以下のドキュメント通りです。 https
Google Cloud Platform - The Good, Bad, and Ugly (It's Mostly Good)
Google Cloud Platform - The Good, Bad, and Ugly (It's Mostly Good) Jul 12, 2018 by Daniel Compton Looking for a cloud hosted Maven repository when working with Google Cloud? Sign up for a free 14-day trial of Deps Private Maven Repositories. Deps is a private, hosted, Maven repository. While building it I had a critical decision to make - Where to host it? I evaluated many different hosting servic
AWS Glue 実践入門 環境準備編(1)：IAM権限周りの設定について | DevelopersIO
AWS Glueのサービスを本格活用するには、事前に幾つかの準備作業が必要となります。当エントリではそのうちの「IAM権限周り」に関する設定内容を1つずつ進めながら実際にどのような構成となっているかを見ていきたいと思います。 Setting up IAM Permissions for AWS Glue - AWS Glue 目次 Step1. AWS Glueサービスで用いるIAMポリシーを作成 Step2. AWS Glueサービスで用いるIAM Roleを作成 Step3. AWS GlueにサインインするIAMユーザーに対してポリシーを添付 Step4. ノートブックサーバ用のIAMポリシーを作成 Step5. ノートブックサーバ用のIAM Roleを作成 ここまでの手順でで出来上がった要素 まとめ Step1. AWS Glueサービスで用いるIAMポリシーを作成 AWS Glu
AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました | DevelopersIO
はじめに AWS Glueは、Pythonに加えてScalaプログラミング言語をサポートし、AWS Glue ETLスクリプトの作成時にPythonとScalaを選択できるようになりました。新しくサポートされたScalaでETL Jobを作成・実行して、ScalaとPythonコードの違いやScalaのユースケースについて解説します。 AWS Glue Now Supports Scala in Addition to Python ScalaでETL Jobを作成して実行する ETL Jobは、ソース、ターゲット、カラムのマッピング、ETL言語などを指定すると対応したETLコードが自動生成されます。その生成されたコードに対して、さらにテンプレートを追加したり、コードを編集します。では早速、ScalaでETL Jobを作成してみます。 Job Properties 全般的なETL Jobに
AWS Glue 実践入門：Amazon RedshiftのテーブルをETLする | DevelopersIO
先日に引き続き、クローラで作成したAWS Glue Data Catalog 上のRedshiftのテーブル定義を利用して、ETL Jobを作成します。ETL Jobの作成、そして実行時の挙動についても解説します。 このブログで利用するxxxx_ssbgz_customerテーブル定義の作成方法は以下のブログを御覧ください。 AWS Glue 実践入門：Amazon Redshiftのテーブルをクロールする ETL Job の作成 ジョブとは、抽出、変換、およびロード（ETL）作業を実行するために必要なビジネス・ロジックのことです。ジョブの実行は、イベントによってスケジュールまたは駆動されるトリガによって開始されます。 Job properties ジョブの名前やIAM Role等の基本情報を設定します。 Redshiftに対するクエリ実行が主なので、画面下のScript librarie
【新機能】AWS ELBのApplication Load Balancer(ALB)の認証機能でWebアプリにGoogle認証を追加する | DevelopersIO
【新機能】AWS ELBのApplication Load Balancer(ALB)の認証機能でWebアプリにGoogle認証を追加する Application Load Balancer(ALB)の認証機能のひとつ、OpenID Connectの例としてWebアプリにGoogle認証をかける様子をご紹介します。 ども、大瀧です。 本日、AWS ELBのApplication Load Balancer(ALB)に認証機能が追加されました。 Simplify Login with Application Load Balancer Built-in Authentication | AWS News Blog ALBの認証機能では様々なことができるのですが独自IdPとの連携は既に他のメンバーが記事を書いているので、本記事ではOpenID Connectの例としてGoogle Identi
Amazon Redshiftのデータ量監視とエンコードタイプ - LIVESENSE Data Analytics Blog
データエンジニアリングチームのよしたけです。 弊社各サービスのデータ分析基盤であるLivesense Analyticsの開発、運用を行っています。 Livesense Analyticsのアーキテクチャ Livesense AnalyticsはAWS上でシステムが構築されています。S3上にあるデータやtd-agent、Kinesis Firehoseなどを経由して集めたデータをAmazon Redshiftに格納し、データウェアハウスとして運用しています。詳細は、弊社大政がデータ分析基盤Night #1 で発表した内容をご参照ください。 当時とは一部変更になっている部分もありますが、大枠は上記の図の構成になっています。 ディスク使用量 このLivesense Analyticsには、マッハバイトや転職会議をはじめ、リブセンスで運用している多くのメディアの各種ログやデータが集められています
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
クラウドに基幹を移行して5年超経過 - 急がば回れ、選ぶなら近道
もう5年か、まだ5年というべきかちょっと判断に迷う。大抵の業務系のシステムがクラウドを始めるのは現実的には今年来年以降になるので、今の自分達の状況は多分、今後の業務系システムをクラウド移行したユーザの近未来になると思う。ので、予想的にまとめておく。本格的にクラウドを利用した業務アプリケーションの5年がどうなるかの一つの指針になるかと。 以降は別に統計データでもなんでもなく5年間を眺めてみて自分の印象。 ・障害：大規模は５年で2-3回程度。一度は業務に影響が出て客先にお詫びに行った。AWSだったけど、サポートからは「もう回復してるのでチケットクローズね」みたいな話だったと記憶している。その後は大体四半期に一回程度のN/W障害。障害は普通に起きているし、オンプレと比べてどうか、という比較では細かい障害件数は減った気はしていない。ただし、「ドカンと来るでかい障害」は確実に減った。 ・データ増加対
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://opendistro.github.io/for-elasticsearch/