エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
2019-06-10 weeklyまとめ
株式会社FiNC Technologiesを退職した 株式会社FiNC Technologiesを退職しますに予告を書きましたが、退... 株式会社FiNC Technologiesを退職した 株式会社FiNC Technologiesを退職しますに予告を書きましたが、退職しました。 最後にぼくがかんがえたさいきょうのSparkアーキテクチャが無事出来たので、とりあえず満足いく終わりになりました。 Sparkと戯れていた 先週に引き続き、AWS Glueを使ってPySparkで開発をしてました。 様々なテーブルをjoinし、ユーザごとにデータを集計して /user_id/output_name といったパスに一人づつJSONファイルに出力していましたが、これが遅くなった原因でした。 ユーザを何人かのパーティションにまとめ、 /output_name/partition_key といった複数人をまとめて1つのJSONファイルに出力したところ、数時間かかってた出力処理が数分で終わるようになりました。 書き出し対象はS3なので、ネッ
2019/06/10 リンク