5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編 | Future Tech Blog - フューチャーアーキテクト
みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発
AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog
こんにちは。業務委託の@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S3にあるログをAWS Athenaから閲覧できるようにしてほしい S3にあるJSON形式のログを列指向型のフォーマット(Parquet)に変換してほしい ログは順次取り込み（毎朝、昨日分のログが見れるようにする） すでにログはS3にあったのでログ収集は終わっています。 データ分析基盤の構成 今回作成したデータ分析基盤はAWSのマネージドサービスで完結してます。 今回構築したのはGlueの部分です。 Glueの構成や初期構築の手順は以下のドキュメント通りです。 https
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Black Belt - AWS Glue
