業務で作業するならBQに突っ込めでFAとして、CSVの基本統計量を計算するだけなら grep と awk という手段が（老人会脳／身も蓋もないことをいえば、アタリをみたいだけならランダムサンプリングすればよくね。

Ez-style のブックマーク 2023/06/06 09:30

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4729161316163010340/comment/Ez-style" data-user-id="Ez-style" data-entry-url="https://b.hatena.ne.jp/entry/s/qiita.com/fujine/items/830b3d30d3e4d4b36005" data-original-href="https://qiita.com/fujine/items/830b3d30d3e4d4b36005" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fqiita.com%2Ffujine%2Fitems%2F830b3d30d3e4d4b36005" data-user-icon="/users/Ez-style/profile.png">1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E7%B5%B1%E8%A8%88">統計</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E5%88%86%E6%9E%90">分析</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E3%83%87%E3%83%BC%E3%82%BF">データ</a>]</li></ul><br><p style="clear: left">業務で作業するならBQに突っ込めでFAとして、CSVの基本統計量を計算するだけなら grep と awk という手段が（老人会脳 ／ 身も蓋もないことをいえば、アタリをみたいだけならランダムサンプリングすればよくね。</p><a class="datetime" href="https://b.hatena.ne.jp/Ez-style/20230606#bookmark-4729161316163010340"><span class="datetime-body">2023/06/06 09:30</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！