タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

AWSとETLに関するInoHiroのブックマーク (3)

  • Amazon Web Services, Inc.

    2017 年 12 月に東京リージョンでサービス提供が開始され、日のお客様による検討、導入が進み始めました。

    Amazon Web Services, Inc.
    InoHiro
    InoHiro 2018/01/30
    おもしろそう(行けない
  • AWS Glue(分析用データ抽出、変換、ロード (ETL) )| AWS

    この図は、AWS Glue のユーザーが、複数のデータ統合エンジンを使用したジョブワークロードを作成するために、インターフェースオプションを選択する方法を示しています。左側に 1 つ、真ん中に 2 つ、右側に 1 つ、計 4 つのセクションを表示します。 左側の最初のセクションは、「データソース」と呼ばれています。 「Amazon S3」、「Amazon DynamoDB」、「Amazon EC2 上で実行するデータベース」、「データベース」および「SaaS」の、データソースが含まれます。 最初のセクションに、「インターフェースの選択」という図の上部にある真ん中のセクションを指す矢印があります。 この 2 番目のセクションには、3 つのセクションが含まれています。「AWS Glue Studio」、「Amazon SageMaker ノートブック」、「ノートブックと IDE」の 3 つです

    AWS Glue(分析用データ抽出、変換、ロード (ETL) )| AWS
    InoHiro
    InoHiro 2016/12/02
    Fully Managed ETL, TransformationスクリプトはPythonとある。こういうの乗っかるとあとが怖い
  • [レポート][TA-03]Amazon Redshift Integration Deep Dive #AWSSummit | DevelopersIO

    AWS Summit Tokyo 2015のTA-03: Tech Deep Dive by Amazon:「Amazon Redshift Integration Deep Dive」のレポートです。 スピーカーはAmazon Data Services Japanの八木橋 徹平氏。 レポート このセッションの目的 このセッションはRedshiftの使い方がある程度わかっている人に自社システムやAWSの他サービスとの連携方法のコツを知ってもらうことにある。Redshift固有のクセや設定があるため、端的にいうとRedshiftにいかに効率よくデータを入れるためにETL(Extract + Transform + Load) + Uploadを行うか、というセッションである。 Redshiftおさらい Redshiftの特徴 →MPP(超並列演算)、論理的なリソースの括り「ノードスライス」

    [レポート][TA-03]Amazon Redshift Integration Deep Dive #AWSSummit | DevelopersIO
    InoHiro
    InoHiro 2015/06/03
    "スロット数と同じ並列度でロードするため、ファイル数はスロット数の倍数が望ましい。"
  • 1