なるほど、UNIONでまとめてからPKにしたいカラムをPARTITIONでまとめて、そこから先頭だけを取り出すことで重複排除してるのか

Kesin のブックマーク 2018/06/28 10:42

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/366587197/comment/Kesin" data-user-id="Kesin" data-entry-url="https://b.hatena.ne.jp/entry/tech.mercari.com/entry/2018/06/28/100000" data-original-href="http://tech.mercari.com/entry/2018/06/28/100000" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=http%3A%2F%2Ftech.mercari.com%2Fentry%2F2018%2F06%2F28%2F100000" data-user-icon="/users/Kesin/profile.png">数百GBのデータをMySQLからBigQueryへ同期する | メルカリエンジニアリング</a><br><p style="clear: left">なるほど、UNIONでまとめてからPKにしたいカラムをPARTITIONでまとめて、そこから先頭だけを取り出すことで重複排除してるのか</p><a class="datetime" href="https://b.hatena.ne.jp/Kesin/20180628#bookmark-366587197"><span class="datetime-body">2018/06/28 10:42</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

数百GBのデータをMySQLからBigQueryへ同期する | メルカリエンジニアリング

tech.mercari.com2018/06/28

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。本記事は、メルカリに出品された過去す...

151 人がブックマーク・8 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

数百GBのデータをMySQLからBigQueryへ同期する | メルカリエンジニアリング

はてなブックマーク

公式Twitter

はてなのサービス