【速報】データ分析アプリケーションの開発、可視化、デバッグできる統合開発環境(IDE) 『Amazon EMR Studio』 (Preview)が発表されました #reinvent | DevelopersIO
日本時間2020年12月10日深夜のAWS re:Invent 2020のAnalyticsのリーダーシップセッションにて、データ分析アプリケーションの開発、可視化、デバッグできる統合開発環境(IDE)『Amazon EMR Studio』のプレビュー開始が発表されました。 Amazon EMR Studio とは データサイエンティストとデータエンジニアが、R、Python、Scala、PySparkでアプリケーションを簡単に開発、可視化、デバッグできる統合開発環境（IDE）です。 EMR Studioは、フルマネージドのJupyter Notebookと、デバッグを簡単にするSparkUIやYARN Timeline Serviceなどのツールを提供します。EMR Studioは、AWS SSOを使用しており、AWSコンソールにログインせずに企業の認証情報を使用して直接ログインできます
Apache Airflow、Genie、および Amazon EMR でビッグデータワークフローのオーケストレーションを行う: Part 1 | Amazon Web Services
Amazon Web Services ブログ Apache Airflow、Genie、および Amazon EMR でビッグデータワークフローのオーケストレーションを行う: Part 1 AWS 上でビッグデータの ETL ワークフローを実行している大企業は、多数の内部エンドユーザーにサービスを提供できるようなスケールで運用しており、何千もの同時パイプラインを実行しています。このことは、新しいフレームワークと、ビッグデータ処理フレームワークの最新のリリースに遅れずについていくため、ビッグデータプラットフォームを更新し、拡張する点での継続的なニーズと相まって、ビッグデータプラットフォームの管理を簡素化することと、ビッグデータアプリケーションへの容易なアクセスを促すことの両方を可能にする、効率的なアーキテクチャと組織構造を要求しています。 この投稿では、一元管理型のプラットフォームチームが
5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編 | Future Tech Blog - フューチャーアーキテクト
みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発
[新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました！ ｜ DevelopersIO
[新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました！ こんにちは、平野です。 EMRで立ち上げたクラスタ上でSparkを動かしてみよう、と思ってポチポチと作業を始めてみたのですが、先日社内チャットで「NotebookもAWSで立てられる」という話を見たのを思い出したので、その「EMR Notebooks」を試してみました。 ちなみにこの機能のリリースは2018/11/19だったようです。 Notebookを立ち上げるのにクラスタが必要？ Notebookを立ち上げるためには当然そのためのマシンが必要だろ、ということで「まずはクラスタを起動して」と思っていたのですが、その前になんとなく左のメニューの「Notebook」を開き、「「Notebookを作成」を選んでみると・・・ 「クラスターを作成する」の選択肢が！ そう、EMR Not
![[新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました！ ｜ DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c658e7a9dbba1092e6a4499d4837450535c0071f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_amazon-emr_1200x630.jpeg)
初めてのEMR！Hadoopクラスタを起動してみた。 ｜ DevelopersIO
こんにちは、データインテグレーション部の平野です。 前職ではHadoopをぼちぼち触っていたのですが、EMRは心理的なハードルのせいか触ったことがありませんでした。 AWSに触ることにも少しずつ慣れてきたので、EMRでHadoopクラスタの作成を試してみました。 基本的にEMRについては「Hadoopのクラスタが作成できる」という知識しかなかったくらいなので、同じくらいの土俵にいる方の参考になればと思います。 クラスタの起動 まずはサービス一覧からEMRを選択します。 「クラスターの起動」を選択します。 すでに起動したクラスタが２つくらいあるのは目を瞑ってください。 各種設定項目です。 一般設定 クラスター名 お好きな名前を付けてください。 ログ記録 クラスタのログを記録するかどうか、記録する際は、どのS3バケットに保存するかを指定します。 今回はログ記録を有効にしてみました。 起動モード
Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中
はじめてのApache Spark ！Amazon EMRを使って10分で試してみる | DevelopersIO
はじめに 先日、AWSのEMR(Elastic MapReduce)というサービスを使ってApache Sparkに初めて触ってみました。サンプルプログラムを作成するところまでの手順を自分でまとめてみました。前提としてS3とEC2などに触ったことがあり、キーペアやセキュリティグループは分かる方を対象としています。10分位で試せるようにしてありますので、SparkやEMRに触ったことがない方はぜひやってみてください。 1.EC2のキーペアを用意する EC2インスタンスにSSHで接続するのでキーペアがない場合は作成する必要があります。以下のAWSのサイトを見て作ってください。キーペアがすでにある方はスキップしてもらって結構です。 Amazon EC2 のキーペア - Amazon Elastic Compute Cloud 2.サンプルのファイルを用意する 今回はテキストファイルの中に単語の出
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20191023 AWS Black Belt Online Seminar Amazon EMR