エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
AWS Glueのワークフロー機能がリリースされたようなので触ってみました - YOMON8.NET
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS Glueのワークフロー機能がリリースされたようなので触ってみました - YOMON8.NET
AWS Summitで発表されたようですが、Glueの標準機能でワークフローが組めるようになったと聞いたので早... AWS Summitで発表されたようですが、Glueの標準機能でワークフローが組めるようになったと聞いたので早速試してみました。 Glueでワークフローを組むのは大変だった やってみる CrawlerとJobを用意 ワークフロー作成 トリガー作成 ワークフロー作成 ワークフロー完成 ワークフロー開始 所感 2019/06/21追記 Glueでワークフローを組むのは大変だった Glue主な使い方をざっくり言えば、以下のようになるかと思います。 CrawlerでS3上のファイルやRDBMSを読み込んで、データカタログにスキーマ情報等を取り込む ETL Job(Spark) でデータカタログの情報を利用して変換処理を実行 Crawler で変換後のデータも読み込んでデータカタログに取り込む 例えばCSVからParquetに単純変換するだけでも、最低これくらいは組まないといけません。 そのためには